II.10Разработка и эксплуатация AI/ML-систем

gslm-scaling-823m-16p5b — исследовательский речевой языковой Transformer на 823 млн параметров от Tiago Cuervo. Это FP32-чекпойнт конечной точки кривой масштабирования из работы «Scaling Properties of Speech Language Models» (EMNLP 2024), обученный на 16,499 млрд токенов. Модель генерирует последовательности дискретных речевых единиц: схлопнутых подряд идущих кластеров K-means из слоя 11 mHuBERT с частотой 25 Гц; EOS имеет индекс 500, PAD — 501. Репозиторий помечен задачей text-generation и содержит веса safetensors. Для генерации модель принимает последовательность токенов и предсказывает следующие речевые единицы. README приводит оценки на sBLIMP и StoryCloze, но не описывает пользовательские сценарии или поддержку естественных языков. Вокодер в комплект не входит, поэтому из одних весов нельзя получить звучащую речь. Лицензия — Apache-2.0.

gslm-scaling-823m-26b — исследовательская речевая языковая модель из работы «Scaling Properties of Speech Language Models» (EMNLP 2024); репозиторий содержит веса модели FP32. Модель на архитектуре TransformerLM предсказывает последовательности речевых единиц: схлопнутые повторы 25-Гц K-means-токенов слоя 11 mHuBERT с размером словаря K=500 и отдельными токенами EOS и PAD. Модель предназначена для генерации речевых токенов и исследований свойств масштабирования speech-language models. Для получения аудио нужны отдельные средства декодирования и вокодер: они в репозитории не приложены. В README приведены оценки на sBLIMP и StoryCloze; для подготовки данных, оценки и декодирования автор рекомендует кодовую базу slm-research. Лицензия весов — Apache-2.0; исходные наборы данных и вокодер CodeHiFiGAN имеют собственные лицензии.

GTM-v1-base — базовая языковая модель OpenGCM, обученная с нуля. Это плотный decoder-only трансформер в стиле GPT и nanoGPT примерно со 101,6 млн параметров, контекстом 1024 токена и токенизатором GPT-2 BPE. Модель обучалась на примерно 2,95 млрд токенов из открытых веб-, образовательных и математических корпусов; опубликованные веса сохранены в формате safetensors. Модель предназначена для продолжения текста и экспериментов с небольшими предварительно обученными языковыми моделями. Она не настроена на выполнение инструкций или диалоговые ответы. В нескольких небольших тестах с выбором ответа показала результаты выше случайного базового уровня и приведённой в README репродукции GPT-2, но эти оценки не характеризуют качество свободной генерации. Модель не обеспечивает надёжного воспроизведения фактов, не обучалась на коде и может повторять фрагменты текста. Для использования нужны PyTorch, файл model.py из репозитория и зависимости, указанные в карточке. Лицензия — Apache-2.0.

Карточка модели farama-minari/HalfCheetah-v5-TQC-simple на Hugging Face совпадает с карточкой farama-minari/HalfCheetah-v5-TQC-medium, поэтому описание составлено по ней. Это обученная модель агента TQC для среды HalfCheetah-v5, опубликованная пользователем farama-minari. Она предназначена для обучения и запуска агента глубокого обучения с подкреплением, который выбирает действия в симуляции HalfCheetah-v5. Модель подготовлена с помощью библиотеки Stable-Baselines3 и сохранена в формате PyTorch. Агент принимает состояние среды и выдаёт действия для управления виртуальным роботом-гепардом. Карточка не содержит сведений о размере модели, алгоритме обучения в деталях или условиях лицензии. Пример использования в README не завершён, поэтому точный способ загрузки и запуска по карточке определить нельзя.

Lanni-ni/hard_2gram_4_6_384_babylm_100m_seed44 — небольшая модель для генерации текста, опубликованная пользователем Lanni-ni на Hugging Face. Модель работает через библиотеку Transformers и имеет около 27,6 млн параметров; основная задача в метаданных — text-generation. Модель может использоваться для экспериментов с авторегрессионной генерацией текста, тестирования компактных языковых моделей и создания коротких продолжений текста. README не содержит сведений о разработчике, языках, архитектуре, обучающих данных, длине контекста, результатах оценки или лицензии. Из-за отсутствия подробной документации, оценки и описания области применения модель следует рассматривать прежде всего как экспериментальный компактный чекпойнт. Условия лицензии и допустимые сценарии использования по предоставленным данным определить нельзя.

HumanGPT — дообученная настраиваемая модель на базе GPT-2, опубликованная пользователем joeylieb. Она генерирует продолжение диалога в формате «user1: сообщение\nuser2:»: входная реплика и предшествующие сообщения дают контекст для ответа. Модель обучалась без учителя на 1,5 млн токенов пользовательского набора диалогов из Discord; в карточке указана версия 0.5 и незавершённый этап обучения. Модель предназначена для генерации текстовых ответов в стиле переписки и продолжения коротких диалогов. Это авторегрессионная архитектура GPT-2 с окном контекста 1024 токена; карточка указывает английский и иврит. Репозиторий использует формат safetensors и библиотеку Transformers. README не сообщает лицензию, поэтому условия использования определить нельзя.

InternRobotics разработала InternVLA-M1-LIBERO-Object — PyTorch-модель в рамках открытого сквозного фреймворка InternVLA-M1 для политик управления роботами. Это vision-language-action модель: она предназначена для сценариев, где робот использует визуальную и языковую информацию для выбора действий. Карточка относит модель к робототехнике и описывает фреймворк как предназначенный для создания и исследования универсальных роботизированных политик. Репозиторий помечен лицензией CC BY-NC-SA 4.0, которая предусматривает указание авторства, распространение производных материалов на тех же условиях и ограничения на коммерческое использование. В доступной карточке не приведены конкретные задачи LIBERO, поддерживаемые языки, размер модели или параметры контекста.

Модель huggingtweets/jack — генеративная языковая модель на архитектуре GPT-2, созданная Борисом Деймой в проекте HuggingTweets. Она дообучена на публикациях пользователя jack и предназначена для генерации коротких текстов в стиле его твитов. Модель принимает текстовый запрос и продолжает его; доступна в формате PyTorch через библиотеку Transformers. Контекст модели составляет 1024 токена, основной язык — английский. Модель подходит для экспериментов с генерацией текстов, имитирующих стиль исходных публикаций, и для изучения персонализации языковых моделей на данных соцсетей. Её вывод наследует ограничения и смещения GPT-2 и зависит от содержания обучающих твитов. Лицензия в предоставленных данных не указана.

Модель gpjt/jax-with-mha-bias-larger-chinchilla-1 разработана Giles Thomas на основе кода Sebastian Raschka. Это обученная с нуля причинная языковая модель в стиле GPT-2, предназначенная для генерации продолжения текста и экспериментов с базовой LLM. Архитектура реализована в JAX, а веса в формате safetensors преобразованы для совместимости с PyTorch и Transformers. В модели 235,6 млн параметров, 15 слоёв, размерность эмбеддингов 896, 14 голов внимания и контекст длиной 1024 токена. Модель обучалась на токенах набора FineWeb и рассчитана на изучение и доработку компактной GPT-подобной модели. Автор предупреждает, что её знания ограничены, а качество рассуждений невысоко, поэтому она не подходит для серьёзных прикладных задач. Лицензия — Apache 2.0.

Keural Cortex 8B step 10,000 — промежуточный чекпойнт, опубликованный MKD Co., Ltd. Это плотная авторегрессионная модель семейства Qwen3 с 7,6 млрд параметров, полученная продолжением предобучения Qwen/Qwen3-8B-Base на преимущественно корейских данных. Чекпойнт содержит веса в формате safetensors и рассчитан на контекст до 32 768 токенов. Модель предназначена для исследовательского сравнения чекпойнтов и анализа влияния продолженного предобучения на корейский текст. Она генерирует продолжение текста, но не обучена следовать инструкциям или вести диалог; постобучение не проводилось. Опубликован шаг 10 000 из 13 034, а обучение на этом шаге ещё не завершило спад скорости обучения. Для чекпойнта не приводятся результаты бенчмарков, а проверка пересечений с оценочными наборами данных не завершена. Лицензия — Apache-2.0. Автор рекомендует использовать его только для исследований и сравнения чекпойнтов, а не для производственного или пользовательского развертывания.

yujiepan/kimi-linear-tiny-random — небольшая отладочная causal language model для генерации текста, созданная на основе конфигурации moonshotai/Kimi-Linear-48B-A3B-Instruct. Репозиторий подготовлен пользователем yujiepan; исходная архитектура и токенизатор адаптированы от модели Moonshot AI. Веса этой версии инициализированы случайным образом, поэтому модель не предназначена для получения осмысленных или качественных ответов в прикладных сценариях. Модель рассчитана на тестирование загрузки и выполнения архитектуры Kimi Linear в Transformers и vLLM, а также на отладку совместимости и инференса. Она поддерживает text-generation и использует чатовый шаблон токенизатора исходной модели. В конфигурации указаны 5 скрытых слоёв, hidden size 8, 8 attention heads и 8 key-value heads, head dimension 32; применяются линейное внимание KDA и один слой полного внимания, а также MoE-параметры. Размер контекста, языки и точное число параметров в README не указаны. Для работы требуется trust_remote_code=True; пример проверен с transformers 4.57.1. Главное преимущество модели — минимальный размер конфигурации, удобный для отладки и проверки программной интеграции. Ключевое ограничение — случайная инициализация весов: модель не обучена и не обладает практической языковой компетентностью. Лицензия в README не указана.

KOS-V5-Instruct («Catbird») — англоязычная медицинская языковая модель, разработанная исследовательскими командами University of Kentucky и University of Louisville. Это версия с инструкционным дообучением модели KOS-V5-Base: после предварительного обучения с нуля её дообучили методом SFT и двумя этапами GRPO. Модель построена на архитектуре Qwen3ForCausalLM с decoder-only Transformer и Grouped-Query Attention; содержит около 3,4 млрд параметров по метаданным, а в README указано 3,715 млрд. Контекст — 32 768 токенов. Модель предназначена для следования инструкциям, диалогов и вызова инструментов в исследовательских сценариях, связанных с медицинскими и клиническими текстами. README приводит результаты тестов на следование инструкциям, медицинских вопросах и вызове функций, но также отмечает, что по знаниям и медицинскому QA она уступает более крупным моделям, а устойчивость к шуму при работе с поисковыми данными остаётся ограниченной. Модель поддерживает английский язык. Лицензия — Apache-2.0, однако разработчики ограничивают применение исследовательскими целями: модель нельзя использовать для клинических, коммерческих, юридических или производственных задач и для принятия медицинских решений. Ответы могут содержать фактические ошибки или выдуманные сведения.

VLA-Adapter/LIBERO-Long — дообученная модель Vision-Language-Action от команды OpenHelix, предназначенная для управления роботом по изображениям и текстовым инструкциям на задаче LIBERO-Long. Она принимает изображение и текст, а на выходе генерирует действия робота. Архитектура объединяет зрительно-языковую модель на основе Prismatic-VLM с политикой генерации действий. В качестве языковой основы используется Qwen2.5-0.5B; модуль Bridge Attention связывает признаки от зрительно-языковой модели с представлением действий. Модель опубликована в формате safetensors и распространяется по лицензии MIT. Модель ориентирована на выполнение роботизированных манипуляций и оценку на бенчмарке LIBERO-Long. Карточка сообщает о результатах на распространённых робототехнических бенчмарках, но не приводит здесь численные показатели или подробности условий оценки. Применение вне соответствующих сред и сценариев требует отдельной проверки.

VLA-Adapter/LIBERO-Long-Pro — модель Vision-Language-Action для управления робототехникой, разработанная командой VLA-Adapter. Она принимает изображения и текстовые инструкции, обрабатывает их с помощью VLM на архитектуре Prismatic-VLM с языковой основой Qwen2.5-0.5B и генерирует действия для робота. Модель дообучена для бенчмарка Libero-Long; авторы сообщают, что семейство VLA-Adapter превосходит несколько открытых VLA-моделей с более крупными языковыми основами на распространённых робототехнических тестах. Архитектура объединяет VLM и политику генерации действий. Модуль Bridge Attention связывает условия, полученные от VLM, с начальными данными для формирования действий. Модель предназначена для сценариев, где робот должен учитывать визуальную обстановку и текстовую задачу. Репозиторий содержит веса в формате safetensors; лицензия — MIT. Количественные результаты конкретной версии LIBERO-Long-Pro и сведения о переносе на другие среды в карточке не приведены.

bababababooey/llama-3-8b-instruct-toxic — тестовая чат-модель на архитектуре LlamaForCausalLM, дообученная методом DPO на наборе unalignment/toxic-dpo-v0.2 в течение одной эпохи. Она предназначена для генерации текста в диалоговом формате и связана с токсичными предпочтениями из обучающего набора. Модель содержит 7,5 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. Модель построена на семействе Llama 3 8B Instruct и опубликована в формате safetensors. Лицензия — Apache 2.0. Карточка характеризует её как тестовый DPO-чекпойнт; данных о целевых языках и результатах оценки качества нет.

DataPilot/Llama3-ArrowSE-8B-v0.3 — японская диалоговая модель на архитектуре Llama 3, основанная на elyza/Llama-3-ELYZA-JP-8B и улучшенная методом chat vector для сценариев AItuber. Она предназначена для разговорного взаимодействия и генерации ответов на японском языке. Модель содержит 7,5 млрд параметров, использует плотную архитектуру и поддерживает контекст до 8192 токенов; доступны веса Safetensors. В README приведена оценка 3,81 на elyza-task100 при автоматической проверке Gemini Pro, а также заявлена доля галлюцинаций ниже 5%; методика и условия этих оценок не описаны. Лицензия — Llama 3 Community License.

Cas-Warehouse создал эту плотную авторегрессионную языковую модель на архитектуре Llama 3, объединив методом Model Stock несколько моделей для диалогов о психическом здоровье и психотерапии. Модель содержит 7,5 млрд параметров, принимает текст и рассчитана на генерацию ответов в формате чата; её контекст составляет до 8192 токенов. Модель предназначена для диалоговых сценариев, связанных с психологической поддержкой и темами психического здоровья. Она может служить экспериментальной основой для прототипов чат-ботов или изучения слияния специализированных языковых моделей. README и метаданные не описывают обучение, оценку качества или клиническую проверку, поэтому пригодность ответов для практической психологической или медицинской помощи не подтверждена. Условия лицензии в предоставленных источниках не указаны.

LMEnt 1B — Baseball EMBER — англоязычная причинная языковая модель OLMo2 с 1,1 млрд параметров, разработанная авторами исследования «Can Concept Erasure Reproduce Concept Exclusion? A Matched Evaluation of EMBER, RMU, and SNMF». Модель основана на LMEnt, обученной на размеченном сущностями корпусе Википедии, и не проходила настройку на следование инструкциям. Метод EMBER изменяет выбранные направления входных эмбеддингов с силой δ = 10, чтобы подавить знания о бейсболе. Модель предназначена для генерации английского текста и изучения удаления отдельных понятий из языковых моделей. В статье для неё приведены результаты на отложенной выборке вопросов о целевом понятии; они не подтверждают широкое удаление знаний или обобщение на другие понятия. Контекст — 2048 токенов. В карточке лицензия на веса не заявлена, поэтому условия их использования не определены.

LMEnt 1B Ancient Rome SNMF — англоязычная плотная авторегрессионная языковая модель семейства OLMo2 на 1,1 млрд параметров, разработанная авторами исследования «Can Concept Erasure Reproduce Concept Exclusion? A Matched Evaluation of EMBER, RMU, and SNMF». Это базовая модель без дообучения на инструкции, обученная на корпусе Википедии с разметкой сущностей и отредактированная методом SNMF для подавления концепта Древнего Рима. Редактирование выполнено после обучения базовой модели: SNMF применён к выходным весам MLP в слоях 4–6 с рангом 100, порогом отбора признаков 2,0 и полным удалением выбранных компонентов. Для работы модель принимает текст и генерирует текст; поддерживает диалоговый сценарий. Контекст составляет 2048 токенов. В опубликованной оценке эффективность подавления целевого концепта составила 0,000, несмотря на близость некоторых метрик к отдельно обученной модели-близнецу без этого концепта. Поэтому результаты не подтверждают широкое удаление знаний или обобщение на другие концепты. Карточка не заявляет лицензию на веса.

Экспериментальный чекпойнт IFM из работы «Towards Looped Models Done Right. Part I: Topology, Input Injection, Recurrent-State Organization». Это модель генерации текста семейства MoE middle loop с архитектурой Huginn; контрольная точка получена на этапе обучения, соответствующем обработке 500 млрд токенов, шаг оптимизатора 119 210. Веса BF16 сохранены в Safetensors в нативном формате xLLM. Модель предназначена для исследования и оценки рецепта обучения looped-языковых моделей. Для запуска требуется код xLLM, CUDA GPU и FlashAttention 3; стандартный загрузчик Transformers её не загружает. README предлагает оценивать модель по протоколу статьи. Указана лицензия Apache-2.0. Точный размер модели и длина контекста в доступных данных не приведены.

IFM/LoopedLM-P1-moe-shared-hl-500b — исследовательский чекпойнт модели семейства MoE H/L, опубликованный как конечная точка рецепта `moe_shared_hl` после обучения на 500 млрд токенов и 119 210 шагов оптимизатора. Он относится к работе «Towards Looped Models Done Right. Part I: Topology, Input Injection, Recurrent-State Organization» и использует архитектуру `huginn`. Модель предназначена для генерации текста и оценки рецепта в рамках протокола статьи. Веса сохранены в BF16 Safetensors в нативном формате xLLM, а не как совместимый с Transformers чекпойнт. Для запуска требуются код xLLM, CUDA GPU и FlashAttention 3; загрузчик проверяет манифест и строго сверяет имена, формы и типы тензоров. Лицензия — Apache-2.0. README не приводит размер модели, длину контекста, языки или конкретные результаты качества; данные для возобновления обучения в репозитории отсутствуют.

IFM/LoopedLM-P2-huginn-l-learned-entropy0p01 — исследовательский чекпойнт Looped Transformer из работы «Towards Looped Models Done Right. Part II: Rethinking at Fixed Points», вариант L с обучаемым λ_H=0,01. Модель содержит 2,488 млрд параметров: один блок prelude, два рекуррентных блока и один блок coda; ширина — 6144, 96 голов внимания, включая 24 KV-головы, и SwiGLU FFN шириной 17408. Ввод внедряется диагональным способом. Модель предназначена для генерации текста и оценки в экспериментах по зацикленным языковым моделям и фиксированным точкам. Веса представлены в BF16 Safetensors с конфигурацией xLLM и манифестом артефакта; для загрузки необходим код xLLM, стандартный загрузчик Transformers её не поддерживает. Репозиторий распространяется по лицензии Apache-2.0. Данные карточки не уточняют поддерживаемые естественные языки и длину контекста.

Экспериментальная модель IFM из работы «Towards Looped Models Done Right. Part II: Rethinking at Fixed Points»: рекуррентный Transformer с одним входным блоком (prelude), двумя повторно применяемыми блоками и одним выходным блоком (coda). В модели около 829 млн параметров, ширина 3 072, 48 attention heads и 12 KV heads; для подачи входа используется Huginn-Linear, а после каждой рекурсии — RMSNorm без дополнительных параметров. Модель предназначена для генерации текста и оценки экспериментальной архитектуры с циклическими вычислениями. Для загрузки требуется библиотека xLLM и её специальный загрузчик артефактов; стандартный `transformers` `AutoModel.from_pretrained` этот чекпойнт не поддерживает. Веса размещены в формате BF16 Safetensors с конфигурацией xLLM. Лицензия — Apache-2.0.

IFM/LoopedLM-P2-huginn-s-fixed-r5 — экспериментальный чекпойнт компактной языковой модели, опубликованный IFM для работы с исследованием «Towards Looped Models Done Right. Part II: Rethinking at Fixed Points». Это Transformer с зацикленной структурой: один начальный блок, два рекуррентных блока и один завершающий блок. Модель содержит около 304 млн параметров, имеет ширину 1536, 24 головы внимания (6 KV-голов) и FFN SwiGLU шириной 4352; входные представления подаются диагональным способом. Модель предназначена для генерации текста и оценки в рамках экспериментов статьи. Веса доступны в BF16 Safetensors в нативном формате xLLM; для загрузки нужен код xLLM, стандартный загрузчик Hugging Face Transformers её не открывает. Репозиторий распространяется по лицензии Apache-2.0. В README не указаны поддерживаемые языки, размер контекста или показатели качества.

huginn-s-learned-entropy0 — исследовательский чекпойнт семейства LoopedLM от IFM, опубликованный для работы Towards Looped Models Done Right. Part II: Rethinking at Fixed Points. Модель предназначена для генерации текста и оценки подхода с рекуррентными вычислениями в языковых моделях. Архитектура — looped Transformer с блоком prelude, двумя рекуррентными блоками и блоком coda; ширина 1 536, 24 головы внимания, включая 6 KV-голов, и FFN SwiGLU шириной 4 352. В модели около 304 млн параметров, формат весов — BF16 Safetensors. Для загрузки необходим код xLLM: чекпойнт несовместим с обычным загрузчиком Transformers. Это экспериментальный вариант из таблицы 2 статьи, конфигурация S с learned λ_H=0; README описывает применение через оценочный скрипт проекта. Язык лицензии — Apache-2.0. Карточка не сообщает языки обучающих данных и длину контекста, поэтому нельзя определить языковую специализацию и предел входной последовательности.

IFM/LoopedLM-P2-huginn-s-orthoinj — экспериментальная языковая модель из серии к работе «Towards Looped Models Done Right. Part II: Rethinking at Fixed Points». Она предназначена для генерации текста и оценки архитектуры с циклическими вычислениями и фиксированными точками. Модель построена на архитектуре looped Transformer: один начальный блок, два рекуррентных блока и один завершающий блок. В ней около 304 млн параметров, ширина скрытого представления — 1536, используется 24 головы внимания, включая 6 KV-голов, и FFN SwiGLU шириной 4352. OrthoInj при введении обновления удаляет его компоненту из затухающего состояния. Веса доступны в BF16 Safetensors в нативном формате xLLM; для загрузки необходимы код xLLM и его специальный загрузчик, стандартный Transformers AutoModel не подходит. Модель распространяется по лицензии Apache-2.0. README описывает оценочный сценарий, но не сообщает поддерживаемые естественные языки или длину контекста.

huginn-s-parcae — экспериментальная зацикленная языковая модель от IFM, опубликованная как артефакт к работе «Towards Looped Models Done Right. Part II: Rethinking at Fixed Points». Она предназначена для генерации текста и оценки подхода к повторному применению блоков трансформера с фиксированными точками. Архитектура включает один начальный блок, два рекуррентных блока и один завершающий блок; ширина модели — 1 536, предусмотрены 24 головы внимания, из них 6 KV-голов, и SwiGLU FFN шириной 4 352. Модель содержит 303 581 184 параметра. Для ввода используется Parcae-Decay: диагональная инъекция RMS-нормализованного выхода начального блока. Веса представлены в BF16 Safetensors в собственном формате xLLM; для загрузки требуется код этой библиотеки, а стандартный AutoModel из Transformers не подходит. В доступной карточке не описаны поддерживаемые языки, длина контекста и качество на практических задачах. Лицензия — Apache-2.0.

LowOnMind-5M — авторегрессионная языковая модель с декодерной архитектурой, созданная с нуля и обученная на 200 млн токенов набора FineWeb-Edu. В ней около 4,9 млн параметров; архитектура использует GQA, SwiGLU, RMSNorm, связанные эмбеддинги и QK-Norm. Контекст составляет 512 токенов, словарь — 1024 токена с байтовым BPE-токенизатором. Модель предназначена для генерации продолжений на английском языке и экспериментов с масштабированием малых языковых моделей. Она показала результаты выше случайного уровня на описанном в карточке бенчмарке, но остаётся исследовательским артефактом: связность текста на уровне абзаца и фактические знания ненадёжны, а короткий контекст и отсутствие KV-кэша ограничивают применение. Веса доступны в формате safetensors по лицензии Apache-2.0.

Manas-64M-DPO — англоязычная чат-модель на архитектуре Qwen3, разработанная kuluruvineeth. Это компактная плотная причинная языковая модель с 63,9 млн параметров и контекстом до 32 768 токенов. Она обучена с нуля, затем прошла SFT и была дообучена методом Direct Preference Optimization (DPO) на парах предпочтений из UltraFeedback. Модель предназначена для экспериментов с выравниванием языковых моделей и изучения влияния этапов обучения, а также для простых текстовых диалогов. Контрольные результаты по нескольким тестам близки к случайному уровню; при малом размере модели ей недостаёт знаний о мире, она может уверенно сообщать неверные факты и терять нить в длинных диалогах. Контрольная точка доступна в формате Safetensors для Transformers; лицензия — Apache-2.0.

Manas-64M Distillation — плотная языковая модель на архитектуре Qwen3, разработанная kuluruvineeth. Она предназначена для генерации текста в диалоговом формате и изучения влияния этапов обучения на небольшую модель. Чекпойнт содержит 63,9 млн параметров, использует 8 слоёв и контекст до 32 768 токенов; модель обучена на английском языке методом дистилляции: сочетает обучение на данных с подражанием полному распределению вероятностей следующего токена модели-учителя manas-64m-full-sft-moe. Экспорт в формате Transformers поддерживается vLLM и SGLang. Модель может служить компактным учебным и исследовательским артефактом для экспериментов с генерацией текста и дистилляцией. В опубликованных тестах выбора ответа её результаты близки к случайному уровню; автор отмечает, что модель обладает скудными знаниями о мире, может уверенно ошибаться и терять нить в длинном разговоре. Её не следует использовать для важных задач. Лицензия — Apache-2.0.