/ Модель

Характеристики

Лицензия
Своя лицензия
Базовая модель
ThoxMicro-1bit-9M
Библиотека
gguf
Опубликована
11 авг 2026

ThoxKey-9M-role

Генерация текстаТекст → текст3 профессии

Компактная тернарная языковая модель для локального выполнения простых команд на устройстве ESP32-S3 и ответов о собственной идентичности.

137скачиваний за 30 дней0лайковвеса обновлены29 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ThoxKey-9M-role — компактная языковая модель Thox-ai для локального управления устройством на прошивке ESP32-S3. Модель содержит 8 917 248 параметров и использует архитектуру BitNet b1.58 с тернарными весами {-1, 0, +1} и активациями int8. Основной артефакт для прошивки доступен в формате TERN1; также опубликованы варианты GGUF TQ1_0 и Q8_0 и веса safetensors.

Модель предназначена для простых команд на устройстве и ответов о собственной идентичности и работе локально. Она должна передавать запросы за пределами этих задач, а не придумывать ответы; в частности, в ней намеренно нет фактов о компании. Модель дообучена от Thox-ai/ThoxMicro-1bit-9M, который разработчик описывает как собственную предобученную модель, а не как модель на основе внешней системы.

Заявленный бюджет устройства — 3,80 МБ для весов и 8,00 МБ резидентной памяти; по README, модель помещается на ESP32-S3 N16R8. Скорость около 15,9 токена/с приведена как оценка, а испытания на целевом устройстве ещё не проводились. Для Ollama следует использовать Q8_0: README предупреждает, что тернарные варианты GGUF не загружаются в Ollama. Лицензия указана как other, без конкретных условий в предоставленных данных.

Сценарии применения

  • выполнение простых команд на ESP32-S3 без облачного подключения
  • ответ на вопрос об имени и роли устройства
  • ответ пользователю о локальной обработке данных
  • отказ от ответа на вопросы вне заложенной области вместо выдумывания фактов

Ограничения

Модель рассчитана на простые команды и ответы о себе, не содержит фактов о компании и должна передавать остальные запросы. Производительность на целевом устройстве ещё не измерялась; для Ollama в README рекомендуется вариант Q8_0, поскольку тернарные варианты GGUF не загружаются.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ThoxKey-9M-role — canonical ThoxKey device model

Capability status (2026-09-29): Public weights. Device mapping is recorded in ttracx/thox-device-models and certified only as public + mapped + no blocked marketing claims. This is not a tok/s, AIME, or HIPAA certificate. ThoxNova names on this org are a model family, not a campaign SKU.

This is the model baked into the ESP32-S3 firmware. 8,917,248 params, BitNet b1.58 ternary ({-1, 0, +1} weights, int8 activations — W1.58A8).

Lineage — verified, not assumed

Fine-tuned from Thox-ai/ThoxMicro-1bit-9M, a THOX model trained from scratch on TinyStories. There is no external base — the ternary pretrain is ours.

Precisely: training initialised from the 9M pretrain checkpoint (micro-9m-ternary/best.pt, 393M tokens), and the ThoxMicro-1bit-9M repo publishes that same run as GGUF. The repo holds no .pt, which is why the init_from in configs/ternary/thoxkey-9m-role.yaml points at the local checkpoint rather than the Hub path — same weights, different container.

A previous internal proposal listed slvDev/esp32-ai as a base. That was wrong and is retracted. It is a GitHub repository (github.com/slvDev/esp32-ai, MIT), not a Hugging Face model, so it could never be an HF base_model — and no THOX model was trained from it. The shipping ThoxKey model is this one.

What it does

Handles local device commands, names itself when asked, and defers everything else rather than inventing it. It holds no company facts by design — at 8.9M params (23.5% of it the embedding) there is no capacity for a fact table, and training one in is how larger models in this family learned to fabricate.

promptanswer
who are youI am ThoxKey, a THOX model running locally on the key.
do you send my data anywhereNo. I run on the key. Nothing leaves it.
who funded thox(defers — no company facts in the corpus)

Zero fabrications on held-out company-fact prompts.

Files

fileuse
thoxkey-9m-role.tern1the firmware artifact — TERN1, ESP32-S3 micro runtime
thoxkey-9m-role-TQ1_0.ggufllama.cpp ternary
thoxkey-9m-role-Q8_0.ggufllama.cpp / Ollama host validation

Ollama cannot load ternary GGUF (TQ1_0/TQ2_0/I2_S) — tensor size overflow. Use Q8_0 on a host; TQ1_0/TERN1 are the device artifacts.

Device budget: 3.80 MB weights, 8.00 MB resident, ~15.9 tok/s at PSRAM 60.7 MB/s. ESP32-S3 N16R8: fits.

Ship-then-test: not measured on target silicon. Trained on a local RTX 4060 Ti at $0.

Temporary demo Space: tommytracx/ThoxKey-9M-Space (org Space paused on quota).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · gguf

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов
17b3f67

0 моделей