II.10Разработка и эксплуатация AI/ML-систем

Модель sunilt20/sd-class-butterflies-32 разработана как учебная модель для безусловной генерации изображений бабочек. Это диффузионная модель, запускаемая через DDPMPipeline библиотеки Diffusers; она создаёт изображение без текстового запроса. Модель предназначена для экспериментов и демонстрации безусловной генерации небольших изображений. Репозиторий распространяет веса в форматах Diffusers и safetensors. Лицензия — MIT. Размер изображений и другие параметры генерации в карточке не приведены.

Fock-PARFLM с обменным полем в виде потенциала — экспериментальная языковая модель поколения 2 из серии SemSimula, разработанная авторами этой серии. Она обучена на OpenWebText и предназначена для генерации текста и изучения архитектурных механизмов на сопоставимом бюджете обучения. Это вариант архитектуры Fock-PARFLM с размерностью скрытого представления d=384 и двумя слоями (L=2); обменное поле задано скалярным потенциалом, а обратный канал сохранён. Модель не является полностью консервативной из-за обратного канала. В карточке сообщается, что результаты этого поколения получены при отсоединённых градиентах источников; авторы считают серию устаревшим контрольным экспериментом и отзывают прежнюю интерпретацию показателей perplexity как цены механизма или консервативности. Для данной конфигурации приведено значение perplexity 80,90 в описанной настройке, но оно не должно трактоваться как надёжное сравнение архитектурных свойств. Модель и карточка ориентированы на исследование, а не на подтверждённое прикладное качество. Лицензия — CC BY 4.0.

Это экспериментальный чекпойнт Qwen3.5-4B, дообученный Юянем Чжао методом GRPO для WebShop в рамках Skill1. В абляции skill-only обучение обновляло только этапы формирования поискового запроса для извлечения навыков и переоценки найденных навыков; действия исполнителя в среде не давали градиент. Модель использует архитектуру Qwen3.5 с 4 млрд параметров и формат safetensors. Она принимает текстовые запросы и генерирует текст; базовая модель также мультимодальна, но зрительная башня здесь не используется. Чекпойнт предназначен для воспроизведения эксперимента и изучения выбора навыков в задачах покупок WebShop, а не для улучшения агента: автор сообщает, что модель не превосходит необученную базовую модель. Переоценка навыков не давала полезного сигнала, а библиотека навыков не входит в репозиторий, поэтому для использования механизма Skill1 нужны внешние компоненты. Для загрузки указаны Transformers версии 5 и выше либо vLLM. Лицензия — Apache-2.0.

Vibe Data Studio создала SmolVLA policy для управления роботом при работе с огурцом. Модель дообучена от lerobot/smolvla_base на 653 эпизодах телеуправления, охватывающих захват огурца, его размещение на разделочной доске и очистку кожуры. Используется архитектура SmolVLA: замороженный VLM-компонент и обученный эксперт; всего 450 млн параметров, из которых обучались 100 млн. Модель принимает изображения с трёх камер, состояние 7-мерного манипулятора SO-101 и языковую инструкцию, а выдаёт непрерывные действия для управления роботом. Инструкции и обучающие демонстрации ориентированы на конкретную установку, камеры и описанные движения. README приводит офлайн-сравнение двух вариантов обучения, но не заявляет об оценке успешности выполнения задач в реальном роботе. Сведения о лицензии в предоставленных материалах отсутствуют.

Susu (Super small unit) — экспериментальная китайская разговорная языковая модель SOYORiN с 10 228 480 параметрами. Это компактная авторская архитектура на PyTorch: 5 блоков Transformer и байтовый BPE-токенизатор со словарём на 6 144 токена. Модель выполняет генерацию текста и рассчитана на диалог на китайском языке. Модель опубликована как исследовательский чекпойнт и демонстрация эксперимента с малой языковой моделью. Для генерации она использует историю сообщений в пределах 512 токенов; старые завершённые реплики удаляются, поэтому постоянной памяти нет. В README отмечены некорректный китайский, нерелевантные ответы, повторы и слабое воспроизведение контекста. Модель не зарегистрирована для загрузки через Transformers AutoModel и не обещает поддержку хостинговых провайдеров инференса. Репозиторий содержит веса safetensors; лицензия ограничивает использование некоммерческими исследованиями, при этом сохраняются ограничения и требования атрибуции исходных данных.

Thox-ai/thox-micro-125m-instruct — англоязычная модель THOX, полученная полным дообучением собственной базовой модели ThoxMicro-125M. Это плотная decoder-only архитектура семейства Llama с 123,6 млн параметров; модель принимает диалоги в формате ChatML, обучена завершать ответы стоп-токеном и рассчитана на локальную генерацию на устройствах THOX. Контекст составляет 1024 токена. Основной сценарий — кратко отвечать на устройстве о своей идентичности и статусе, а также подтверждать, что пользовательские данные остаются на устройстве. В каталоге THOX ей отведена роль для уровня устройств с малым ресурсом; более сложные диалоговые запросы следует передавать крупной модели. Модель обучена на HuggingFaceTB/smoltalk и распространяется под лицензией Apache-2.0. Это не универсальный помощник: без подходящего системного промпта качество общих ответов низкое, включая фактические вопросы и арифметику. Точная обучающая системная инструкция вызывает чрезмерную привязку к ответу об идентичности даже на общие запросы; README рекомендует для них другой системный промпт или его отсутствие. Производительность и память измерялись на x86_64, поэтому работа на целевом устройстве пока не подтверждена.

Tibetan Roberta Causal Base — демонстрационная авторегрессионная языковая модель, разработанная Sangjee Dondrub для экспериментов с API Transformers. Модель основана на архитектуре RoBERTa и содержит 96,6 млн параметров; она принимает текст и предназначена для генерации продолжения текста на тибетском языке. Максимальная длина контекста составляет 514 токенов. Модель опубликована в формате PyTorch под лицензией MIT. Автор описывает её как эксперимент для знакомства с Transformers, поэтому качество генерации и пригодность для прикладного использования не подтверждены.

TinyAlpaca-v0.1 — небольшая языковая модель семейства Llama, дообученная на базе TinyLlama с использованием набора yahma/alpaca-cleaned. Она предназначена для генерации текстовых ответов на инструкции в формате Alpaca: запрос помещается после заголовка «Instruction», а ответ модель продолжает после «Response». Модель содержит 1 млрд параметров, использует архитектуру LlamaForCausalLM и принимает контекст длиной до 2048 токенов. Модель создана blueapple8259 и распространяется по лицензии MIT. В карточке автор предупреждает о крайне низком качестве ответов и не рекомендует скачивать модель; поэтому она подходит скорее для экспериментов с небольшими инструктивными моделями, чем для надёжного применения.

echarlaix/tiny-random-gpt-oss-mxfp4 — небольшая случайно инициализированная модель для генерации текста, опубликованная пользователем или организацией echarlaix. В карточке указано, что модель предназначена для сценариев text generation и совместима с библиотекой Transformers. Технические характеристики, включая точную архитектуру, число параметров, поддерживаемые языки, модальности и размер контекста, в представленном README не указаны. Из-за случайной инициализации модель, вероятно, предназначена прежде всего для тестирования и разработки, а не для получения качественных содержательных ответов. Модель распространяется по лицензии Apache-2.0.

hf-tiny-model-private/tiny-random-OwlViTModel — тестовая модель из набора HF tiny models, размещённая организацией hf-tiny-model-private на Hugging Face. Она основана на архитектуре OWL-ViT, разработанной авторами из Google Research и интегрированной в библиотеку Hugging Face Transformers. Назначение конкретного репозитория — извлечение признаков из изображений и текста; это базовая модель без специализированной головы обнаружения объектов. OWL-ViT — мультимодальная модель с двумя Transformer-энкодерами: Vision Transformer для изображений и причинным языковым Transformer для текста, объединёнными CLIP-подобными проекциями. Полная архитектура применяется для открытого словаря и zero-shot обнаружения объектов по текстовым запросам, однако данный репозиторий имеет имя tiny-random и предназначен прежде всего для тестирования совместимости, а не для прикладного вывода. Точные размеры, параметры, языки, длина контекста и качество этой конфигурации в карточке модели не указаны; веса, вероятно, случайно инициализированы. Лицензия для конкретного репозитория не указана.

Tiny Shakespeare Transformer — небольшая символьная причинная Transformer-модель, обученная с нуля на корпусе Tiny Shakespeare. В карточке указаны 4 блока Transformer, 4 головы внимания, размерность эмбеддингов 64 и контекст длиной 32 символа; модель использует символьный токенизатор и библиотеку Transformers. Модель предназначена для генерации продолжений текста в стиле корпуса Шекспира, например для учебных демонстраций авторегрессионной генерации и экспериментов с небольшими языковыми моделями. Она генерирует текст на английском языке. Из-за малого контекста и узкой обучающей выборки её не следует рассматривать как универсальную языковую модель; лицензия в предоставленных данных не указана.

Модель SauravP97/tiny-stories-3M создана Saurav Prateek с нуля как воспроизведение эксперимента TinyStories о том, насколько маленькая языковая модель может связно писать по-английски. Это декодерный трансформер GPT-Neo с 3,7 млн параметров, 8 слоями внимания, размерностью скрытого состояния 64, 16 головами внимания на слой и контекстом до 512 токенов. Модель обучена на синтетическом наборе TinyStories: коротких историях с упрощённой лексикой, сгенерированных GPT-3.5/4. Она предназначена для продолжения текста и генерации коротких связных историй на английском языке, особенно в ограниченном словаре. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Небольшой размер делает модель удобной для демонстраций и экспериментов с компактными языковыми моделями, но её назначение узкое: она обучалась на упрощённых детских историях и не предназначена для широких задач или длинного контекста. Лицензия — MIT.

Экспериментальный чекпойнт на архитектуре LlamaForCausalLM с 1,2 млрд параметров, созданный исследователем lindafei001. Он получен дообучением модели open-unlearning/unlearn_tofu_Llama-3.2-1B-Instruct_forget10_SimNPO на 300 шагах обычного supervised fine-tuning по набору фактов, который исходная модель должна была забыть. Модель предназначена для исследований оценки забывания и повторного усвоения информации в языковых моделях. В эксперименте использовались вопросы и ответы из синтетического набора TOFU forget10_perturbed; функция потерь считалась только по ответам. Для данного чекпойнта NLL дословных ответов снизился с 0,208 до 0,0093 после обучения, а точность ранжирования правильного факта среди шести вариантов изменилась с 0,730 до 0,675. Модель принимает текст и генерирует текст; метаданные указывают контекстное окно 131 072 токена и формат safetensors. Лицензия — MIT. Карточка прямо отмечает, что это исследовательский артефакт, не предназначенный для развёртывания; факты об авторах TOFU вымышлены.

Token Garden Story 28M v1 — небольшая англоязычная авторегрессионная модель генерации текста, созданная ev1lkow с нуля как учебный проект. Она предназначена для продолжения коротких историй по заданному началу: это не чат-модель, у неё нет дообучения на инструкциях, диалогах или предпочтениях. Модель содержит 27 795 968 параметров; архитектура — декодерный трансформер с 8 слоями шириной 512 и причинным многоголовым вниманием. Для запуска используется самостоятельная реализация на PyTorch, не интеграция Transformers AutoModel. Обучение проводилось на англоязычном наборе TinyStories V2 GPT-4 TRAIN, ориентированном на простые рассказы и знакомую детям лексику. При генерации учитываются последние 512 токенов; скользящее окно сбрасывает индексы позиций, поэтому модель не обучена на длинном контексте и не обладает постоянной памятью. В небольших повторно используемых проверках базовые продолжения иногда получались пригодными, но надёжное качество повествования не установлено. Следует ожидать повторов, слабой причинности, противоречий в деталях и персонажах, резких окончаний, узкого словаря и фактических ошибок. Модель не проходила настройку безопасности и не сертифицирована для самостоятельного использования детьми; запоминание обучающих примеров не исключено. Модель и исходный код выпущены по Apache-2.0; обучающие данные TinyStories распространяются на отдельных условиях CDLA-Sharing-1.0.

Tokle-SPAB-3M — небольшая авторская языковая модель techdotus на базе декодерного трансформера с причинной языковой моделью (TokleForCausalLM). По карточке, в модели 2,91 млн обучаемых параметров и 8,39 млн замороженных параметров SPAB; метаданные указывают 3,7 млн параметров. SPAB добавляет к логитам внимания смещение, рассчитанное по PMI для пар токенов. Модель обучена на 12 млрд токенов из англоязычных веб-, образовательных и математических данных. Модель предназначена для экспериментов с малыми языковыми моделями и генерации английского текста. В карточке приведены результаты тестов на рассуждениях, вопросах по естественным наукам и арифметике; они не означают, что модель надёжна как универсальный помощник. Максимальная длина контекста — 512 токенов. Модель не проходила настройку на инструкции или выравнивание безопасности, а генерации могут быть повторяющимися, бессвязными или фактически неверными. Для загрузки пользовательской архитектуры в Transformers требуется trust_remote_code=True. Лицензия — CC BY-NC-SA 4.0; коммерческое использование не разрешено условиями лицензии.

zombyi-12b — экспериментальная плотная языковая модель семейства Llama, опубликованная reallad. Это слияние предварительно обученных моделей reallad/llamayialpaca и reallad/lesslobollama2 методом passthrough через mergekit; в конфигурации указана reallad/llamayialpaca как базовая модель и источник токенизатора. Модель содержит 11,3 млрд параметров, использует архитектуру LlamaForCausalLM, веса доступны в формате safetensors, контекст — 4096 токенов. Модель предназначена для генерации текста, однако автор характеризует результат как способный выдавать связные слова лишь иногда. В README также отмечена устойчивость к дальнейшему дообучению с QLoRA; автор не стал проводить полное дообучение из-за требуемых вычислительных ресурсов. Поэтому модель подходит скорее для экспериментов со слиянием моделей, чем для надёжного прикладного использования. Лицензия в предоставленных данных не указана.

4000BCSaraswaty — неизменённая базовая модель GPT-2 Small с 124 млн параметров, опубликованная проектом South of Tethys для сохранения истории эксперимента. Это плотная авторегрессионная языковая модель для продолжения текста; она не проходила дообучение и не связана с каноном проекта. Модель принимает текст и генерирует текст, поддерживает английский язык, а её контекст ограничен 1024 токенами. Модель не обучена следовать инструкциям и, по README, плохо справлялась с написанием ответов по заданному краткому описанию даже при наличии подходящего контекста. Для прикладных задач авторы рекомендуют использовать базовый GPT-2 с более ясной карточкой, а для ответов по канону — систему RAG с инструкционной моделью. Репозиторий содержит веса PyTorch и Safetensors; лицензия — MIT.

ACT-DR — модель управления манипулятором, разработанная автором репозитория и обученная с нуля для выполнения задачи pick-and-place на SO-ARM100. Она построена на архитектуре ACT, содержит около 52 млн параметров и обучена в LeRobot на 150 успешных демонстрациях в MuJoCo с рандомизацией визуальных и физических условий. В метаданных указаны библиотека LeRobot и лицензия Apache-2.0. Модель предназначена для переноса движений захвата и перемещения объектов на варианты условий, отличающиеся от обучающих. В тестах автор сообщает об успешном выполнении в 87% эпизодов на номинальных условиях, при визуальной и физической рандомизации, и в 100% эпизодов при полной рандомизации; в отдельном номинальном протоколе результат составил 18 из 20 эпизодов. Обучение проводилось на одном Kaggle T4 в течение 60 тысяч шагов. Это специализированная политика для роботизированной манипуляции в симуляции; приведённые результаты относятся к описанному автором стенду и протоколам оценки и сами по себе не подтверждают работу на физическом роботе или в иных сценариях. README не описывает формат входных наблюдений и выходных команд, поэтому эти детали не уточняются.

Histochemichael/act-so101-rack-centered-approach-2cam-25 — экспериментальная политика ACT для роботизированного манипулятора SO101, обученная автором репозитория локально с помощью LeRobot. Модель принимает два вида с камер и состояние по шести суставным позициям, а выдаёт действия управления роботом. Она предназначена для подхода к ручке стойки из центрированного отведённого положения: раскрывает захват, приближается к ручке и удерживает выравнивание. Обучение завершено на 25 000 шагах; лучшая контрольная точка по проверочной выборке — шаг 24 000. Политика рассчитана на номинальную частоту 15 Гц: предсказывает блок из 30 действий и использует по три действия за вызов. Данные включают 20 обучающих эпизодов и 5 проверочных; отдельного тестового набора нет. Политика не обучена подъёму или вставке предмета. Ошибки на проверочных данных не являются показателем успешности физического захвата. Лицензия в предоставленных данных не описана.

AhıskaAI-10M-Experimental-v0.1-Base — экспериментальная компактная языковая модель, разработанная инициативой AhıskaAI и обученная с нуля. Она использует плотную архитектуру LlamaForCausalLM с 10,3 млн параметров, 8 слоями, словарём из 8 000 токенов и контекстом до 512 токенов; веса доступны в формате safetensors, лицензия Apache-2.0. Модель предназначена для генерации текста на турецком языке и экспериментов с тем, какие языковые структуры и синтетические задачи может освоить модель такого малого размера. Предобучение проведено за одну эпоху на синтетическом турецком корпусе с данными общего веба, математики и рассказов. Из-за малого размера и ограниченного контекста модель рассчитана прежде всего на исследования возможностей микромоделей, а не на сложные задачи или надёжное применение в продуктивных системах. Ожидаемое качество ограничено экспериментальным характером обучения и масштабом модели.

zondaxyz/babyconceptLM-baike102M_bpe50 — китайская концептуально-доминантная языковая модель, обученная для Chinese BabyLM Challenge на данных Baike102M в токенизации BPE. Архитектура ConceptDominantGPTBertForPreTraining использует отдельные token-, concept- и readout-слои; в модели 2 token-слоя, 4 concept-слоя и 2 readout-слоя, размер скрытого состояния 768, словарь из 16 384 токенов и 12 голов внимания для токенов и readout. Максимальная длина последовательности — 512 токенов, длина предобучающих последовательностей — 256. Модель предназначена для исследовательских экспериментов с обработкой китайского языка, включая оценку грамматических знаний и анализ представлений языка в задачах с fMRI. В карточке приведены результаты zhoBLiMP и корреляции на наборах word_fMRI и fMRI; показатели fMRI получены на dev-разбиении, поскольку тестовое разбиение не выпущено. Это не разговорный ассистент и не модель для производственного применения. Для загрузки требуются пользовательский код Transformers и параметр trust_remote_code=True. Лицензия в предоставленных данных не указана.

Jha-Pranav/blm-18.6M — компактная авторегрессионная модель семейства Llama для генерации текста, опубликованная Jha-Pranav. По метаданным, она имеет плотную архитектуру LlamaForCausalLM, содержит 43,2 млн параметров, принимает текстовый ввод и выдаёт текст; нативная длина контекста — 1024 токена. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Карточка сообщает, что веса пока работают некорректно с библиотекой Transformers от Hugging Face и автор занимается устранением проблемы. Поэтому практическое использование модели ограничено до исправления совместимости; README не уточняет языки, обучающие данные или конкретные сценарии генерации.

box-cedir-hidden-guidance-control — модель управления роботами, обученная с использованием LeRobot. Метаданные относят её к задачам робототехники и указывают формат весов safetensors. Подробности о поддерживаемых роботах, входных данных, выходных действиях и сценариях применения не приведены.

Catgirl Role-Play — дообученная на базе Qwen3.5-2B модель для ролевых диалогов в образе цундэрэ-кошкодевушки Сяо Сюэ. Разработчик объединил supervised fine-tuning и DPO, чтобы сделать персонажа выразительнее и последовательнее. Модель генерирует текстовые ответы и использует маркеры thinking и response для разделения рассуждений и ответа. Модель предназначена для ролевого общения через Transformers или Ollama; в репозитории также описан прокси, который разделяет рассуждения и ответы в API Ollama и OpenAI-совместимом API. Доступны экспорты GGUF Q8_0 и safetensors. В карточке указаны китайский и английский языки; параметры контекста не приведены. Лицензия — MIT. README отмечает, что обработка маркеров thinking и response в стандартном Ollama может работать ненадёжно: поле content иногда оказывается пустым. Для получения ответа без разделения предлагается отключить thinking, а для структурированного вывода — использовать описанный прокси. Модель специализируется на заданной персонажной манере и не заявлена как универсальный ассистент.

Это исследовательский чекпойнт T-Rex для бимануального управления роботом DexMate Vega-1 с двумя кистями RobotEra XHand1: левая рука удерживает рюкзак открытым, правая помещает внутрь кружку. Модель дообучена от выпущенного промежуточного чекпойнта T-Rex; в основе указан Qwen3-VL-2B с mixture-of-transformer experts, каскадным flow matching и FLARE. Модель использует изображения с камер головы и запястий размером 384×288, а также тактильные данные: 30-мерные векторы силы на кончиках пальцев и VQ-VAE-коды пальцев. Она предсказывает последовательности действий длиной 16 шагов: 42 значения на шаг для поз двух манипуляторов и целевых углов суставов кистей. Обучение проводилось на 31 эпизоде, из которых 4 были отложены для проверки. На отложенных эпизодах измерялась ошибка отслеживания траекторий; успешность выполнения задачи и работа на физическом оборудовании не проверялись. Для загрузки весов нужна адаптация кода T-Rex для XHand: стандартный релиз ожидает другое представление действий размерностью 62 и эти веса не загрузит. Лицензия указана как other, конкретные условия в карточке не приведены.

clown-70x1B — экспериментальная мемная модель BlouseJury, собранная с помощью mergekit как смесь экспертов: 70 экспертов, каждый основан на TinyLlama-1.1B-Chat-v0.6. В карточке указано, что модель не тестировалась; метаданные описывают её как Mixtral-подобную MoE-архитектуру с поддержкой чата и генерации текста. Модель предназначена скорее для экспериментов с объединением моделей и развлекательных проб, чем для надёжного решения практических задач. Модель содержит около 1 млрд параметров, принимает и генерирует текст, имеет контекст до 2048 токенов и распространяется в формате safetensors. Для запуска требуется совместимая библиотека Transformers; согласно карточке, llama.cpp не поддерживается. Лицензия — AGPL-3.0.

Lambent/cosmoem-8x1B — экспериментальная модель семейства Mixtral с архитектурой Mixture of Experts (MoE), созданная автором репозитория на основе Cosmo с помощью mergekit. Это незавершённый, не обученный предшественник модели; маршрутизация экспертов инициализирована по скрытым состояниям промптов, а восемь экспертов задуманы для тематических кластеров и задач датасета Cosmopedia. Модель содержит 1,7 млрд параметров, принимает текст, выдаёт текст и имеет контекст 2048 токенов. Репозиторий содержит веса в формате safetensors. Модель предназначена для экспериментов с маршрутизацией MoE и структурой экспертов, а не для надёжной генерации текста: в слоях 0–2 обнаружены вырожденные состояния, и случайная инициализация соответствующих экспертных шлюзов может не устранить проблему. Лицензия — Apache-2.0.

CrossFormer — модель для задач робототехники из репозитория rail-berkeley/crossformer. Карточка Hugging Face указывает библиотеку CrossFormer и формат Flax. README не содержит описания архитектуры или рабочих сценариев, поэтому назначение можно определить только на общем уровне: модель предназначена для задач робототехники. Указана лицензия MIT.

yujiepan/dbrx-tiny-random — экспериментальная авторегрессионная языковая модель для генерации текста, созданная на основе конфигурации DBRX Instruct от Databricks. Модель предназначена главным образом для тестирования, разработки и проверки совместимости архитектуры и инструментов Transformers, а не для получения качественных содержательных ответов. Модель инициализирована случайными весами и использует уменьшенную конфигурацию исходной DBRX: 2 слоя, размер скрытого представления d_model 4, 4 attention heads, 2 KV heads и размер скрытого слоя feed-forward 8. Она работает в формате float16, относится к классу causal language models и поддерживает сценарий text-generation. Токенизатор взят из databricks/dbrx-instruct; конкретный набор поддерживаемых языков и размер контекстного окна в README не указаны. Главное преимущество модели — крайне малый размер конфигурации, удобный для экспериментов и быстрых проверок. Из-за случайной инициализации веса не обучены, поэтому модель не предназначена для практической генерации качественного текста и, вероятно, будет выдавать бессвязные результаты. Сведения о лицензии в README отсутствуют.

BananaMind/dsa-model-ablation — экспериментальная языковая модель для генерации текста, созданная BananaMind в рамках контролируемого сравнения разреженного и стандартного внимания. Это причинная модель на базе Transformers с пятью слоями, шириной скрытого состояния 128, четырьмя головами внимания и 1,53 млн параметров. Используются RoPE, RMSNorm, SwiGLU, связанные эмбеддинги и токенизатор custom BPE с словарём из 4096 токенов. Модель обучалась на выборке FineWeb-Edu объёмом 2 млрд токенов за одну эпоху. В механизме DeepSeek Sparse Attention индексатор выбирает до 512 ключей для каждого запроса; первые 10% шагов обучения использовалось плотное внимание для разогрева индексатора. Контекст составляет 3072 токена. Модель предназначена прежде всего для абляционного эксперимента и сравнения схем внимания, а не для практических задач генерации: по README, результаты на нескольких бенчмарках близки к случайному уровню. Для загрузки используются Transformers и `trust_remote_code=True`. KV-кэш не реализован, поэтому генерация повторно обрабатывает всю последовательность на каждом шаге и может быть медленной. Лицензия — Apache-2.0. Языковая поддержка в карточке не обозначена.