II.10Разработка и эксплуатация AI/ML-систем

Это исследовательский чекпойнт Jeesup на основе Meta Llama 3 8B Instruct, сжатый методом SVD-LLM: удалено 40% параметров, и размер модели составляет 60% от исходного. Веса представлены в формате safetensors; модель использует плотную архитектуру LlamaForCausalLM и поддерживает диалоговую генерацию текста. Длина контекста — 8192 токена. Чекпойнт создан для изучения того, как SVD-сжатие влияет на безопасность и полезность языковой модели, а также для сравнения способов восстановления компонентов. README приводит результаты оценок AdvBench, StrongREJECT и WildGuard. Это экспериментальный объект исследования, а не универсальный чат-ассистент: сжатие может ухудшать защиту от вредоносных запросов. Лицензия — Llama 3; для использования действуют её условия.

Это исследовательский чекпойнт на архитектуре Mistral для изучения влияния сжатия и выбора параметров на безопасность и полезность диалоговых моделей. Он основан на mistralai/Mistral-7B-Instruct-v0.2: параметры сокращены методом Swift-SVD с восстановлением LoRA до 80% от исходного числа, после чего проведено 10 раундов итеративной замены параметров по правилу gap_iter. Модель содержит 7,1 млрд параметров, поддерживает диалоговую генерацию текста и контекст до 32 768 токенов. Чекпойнт предназначен для сравнительных экспериментов по устойчивости к вредоносным запросам и компромиссам между безопасностью и полезностью, а не для обычного развёртывания в качестве ассистента. В README приведены показатели атак на наборах AdvBench и StrongREJECT, а также переотказов на WildGuard; авторы предупреждают, что сжатие может ухудшать защитное поведение. Лицензия — Apache-2.0.

Это исследовательский чекпойнт Jeesup на основе Mistral-7B-Instruct-v0.2 с архитектурой MistralForCausalLM и 7,1 млрд параметров. Модель сжата методом SVD-LLM: удалено около 20% параметров, после чего выполнены 3 из 10 раундов перестановки параметров по правилу gap_iter. Она принимает текст и генерирует текст; заявленная длина контекста — до 32 768 токенов. Чекпойнт создан для изучения того, как сжатие влияет на безопасность ответов и можно ли частично восстановить поведение модели выбором компонентов. В README приведены результаты оценок AdvBench, StrongREJECT и WildGuard. Это отдельный экспериментальный вариант из серии сравнений, а не универсальный чат-ассистент. Лицензия — Apache-2.0.

TamilBERT — монолингвальная модель семейства BERT, разработанная L3Cube-Pune и обученная на общедоступных корпусах текстов на тамильском языке. Она предназначена для заполнения пропусков в тексте: модель предсказывает замаскированные слова с учётом окружающего контекста и может использоваться как базовый чекпойнт для языковых задач на тамильском. Модель содержит 264,8 млн параметров, использует архитектуру BertForMaskedLM и принимает контекст длиной до 512 токенов. Репозиторий предоставляет веса в форматах PyTorch и Safetensors. Модель рассчитана на тамильский язык и задачу fill-mask; карточка также ссылается на публикацию с предварительными сведениями о данных и базовых результатах. Лицензия — Creative Commons Attribution 4.0 (CC BY 4.0). Заполнение масок не является генерацией связного текста или диалоговым режимом; применимость к конкретным задачам требует отдельной проверки.

Tenete-8M — компактная языковая модель Harley-ml на архитектуре Qwen3 с 8,3 млн параметров. Она обучена на 577 млн токенов из учебных материалов, статей, книг и вопросов с ответами; в метаданных также указаны наборы BookSum, Tiny-Textbooks и Medium Articles. Модель предназначена для генерации текста и экспериментов с небольшими языковыми моделями, в том числе на устройствах с ограниченными ресурсами. Качество генерации нестабильно: некоторые продолжения связны, но модель часто выдаёт бессвязный или недостоверный текст. Она плохо справляется с рассуждениями, ответами на вопросы и точным следованием инструкциям, поэтому не подходит для надёжного диалога или задач, где важна фактическая точность. Контекст составляет 1024 токена. Модель распространяется по лицензии MIT.

Ternary-Bonsai-2-27B-gguf-dev — экспериментальная GGUF-версия модели Bonsai 2 27B, разработанная PrismML. Она предназначена для генерации текста и тестирования низкобитного квантования, ядер вычислений и интеграции изменений в llama.cpp. В качестве базовой модели указана Qwen/Qwen3.8-27B. Модель использует архитектуру qwen35, упаковку Q2_0 и 2-битное представление весов; сведения о поддерживаемых языках, размере контекста и дополнительных модальностях не приведены. Для корректной работы требуется форк llama.cpp от PrismML с поддержкой специального преобразования активаций. Стандартная версия llama.cpp может загрузить файл, но будет генерировать бессмысленный текст без предупреждения, поэтому сборка предназначена главным образом для тестирования и разработки, а не для обычного использования. Для практического применения рекомендуются отдельные сборки Ternary-Bonsai-2-27B-gguf или Ternary-Bonsai-2-27B-mlx-2bit для Apple Silicon. Модель распространяется по лицензии Apache-2.0.

afmck/testing-llama-tiny — небольшая языковая модель семейства LLaMA, опубликованная пользователем afmck на Hugging Face. Она предназначена для генерации текста и доступна для запуска через Transformers и серверы инференса. В метаданных указаны архитектура LlamaForCausalLM, 21,5 млн параметров и контекстное окно 2048 токенов; веса представлены в форматах Flax и Safetensors. Карточка Hugging Face не содержит описания обучения, поддерживаемых языков или лицензии, поэтому эти характеристики нельзя надёжно определить. Поиск также показывает предупреждение документации Transformers, что для получения корректных результатов следует использовать openlm-research/open_llama_3b_v2 вместо этой модели. Название и небольшое число параметров указывают на тестовое назначение, но не подтверждают конкретное происхождение или качество модели.

SimpleStories/test-SimpleStories-gpt2-1.25M — небольшая модель генерации текста семейства GPT-2, опубликованная в пространстве SimpleStories и предназначенная для использования через библиотеку Transformers. По идентификатору модели её размер составляет около 1,25 млн параметров; метаданные указывают контекст длиной 512 токенов и формат safetensors. Модель подходит для простого автодополнения текста, экспериментов с авторегрессионной генерацией и учебных прототипов, где важны компактность и низкие требования к ресурсам. Поддерживаемые естественные языки, лицензия, данные обучения, результаты оценки и точные характеристики архитектуры в предоставленных источниках не описаны. Из-за малого размера модель может заметно уступать более крупным языковым моделям по связности, фактической точности и устойчивости генерации.

Theia Tiny Patch16-224 CDDsv — визуальная foundation-модель для обучения роботов, разработанная The AI Institute. Она использует DeiT-Tiny с патчами 16×16 и входным разрешением 224 пикселя, объединяя в представлениях визуальные знания, дистиллированные из CLIP, Depth Anything, DINOv2, Segment Anything и ViT. Модель предназначена для извлечения признаков изображений и последующего применения этих представлений в задачах робототехники и обучения роботов. В статье Theia сообщается, что модель превосходит модели-учителя и предыдущие робототехнические модели, используя меньше обучающих данных и имея меньший размер. Весовые файлы доступны в формате safetensors; лицензия — The AI Institute License.

TinyBrainBot 303M Base — компактная языковая модель с архитектурой LLaMA, разработанная автором репозитория и обученная с нуля. Она содержит около 303,3 млн параметров, использует декодер с RoPE, RMSNorm и SwiGLU и имеет контекст длиной 1024 токена. Модель загружает стандартная библиотека Transformers; доступны веса Safetensors и GGUF F16. Модель предварительно обучена на смеси англоязычных веб-, образовательных, художественных и математических текстов, а также синтетических данных. Она предназначена для продолжения текста, исследований компактных языковых моделей и как основа для дальнейшего предобучения или дообучения. Это базовая модель без настройки на инструкции: она завершает текст, но не предназначена для диалогового следования запросам. Автор указывает, что обучение охватило лишь несколько миллиардов токенов, поэтому фактические знания неглубоки и чувствительны к формулировкам и регистру букв, а рассуждения и математика слабы. Модель может уверенно генерировать правдоподобные, но неверные сведения; для фактических ответов рекомендуется использовать поиск по источникам. Лицензия — Apache-2.0.

hyper-accel/tiny-random-gemma — небольшая модель для генерации текста, опубликованная на Hugging Face. В метаданных она связана с семейством Gemma и предназначена для использования через библиотеку Transformers. Разработчик, лицензия и точный тип архитектуры в доступных материалах не указаны. Модель содержит около 145 миллионов параметров и поддерживает контекст длиной до 8192 токенов. Её можно применять для экспериментов с генерацией текста, проверки интеграций и разработки прототипов на базе Transformers. Карточка модели практически не содержит сведений о предназначении, обучающих данных, оценивании, поддерживаемых языках и ограничениях. Поэтому результаты нельзя считать надёжными для прикладных или производственных сценариев; перед использованием необходимы самостоятельное тестирование и проверка качества. Лицензия в доступных материалах не указана.

JoaoBoer/tofu_Llama-3.1-8B-Instruct_forget01_UNDIAL — плотная авторегрессионная языковая модель семейства Llama 3.1, разработанная на основе open-unlearning/tofu_Llama-3.1-8B-Instruct_full. Модель с 7,5 млрд параметров дообучена методом UNDIAL на части forget01 набора TOFU в рамках проекта open-unlearning. Она предназначена для генерации текста в диалоговом формате и изучения удаления запомненных данных из языковых моделей. В проекте Speculative-Decoding-Unlearning она используется как базовая модель с изменёнными весами. Указанное окно контекста — 131072 токена; доступны веса safetensors и интерфейс для вызова инструментов. Карточка приводит метрики оценки на TOFU: exact_memorization 0,4404, extraction_strength 0,0404 и forget_Q_A_PARA_Prob 0,0845. Это экспериментальный исследовательский чекпойнт для задачи unlearning; результаты и способность забывать данные зависят от теста и не гарантируют полного удаления знаний. Лицензия — Llama 3.1.

JoaoBoer/tofu_Llama-3.1-8B-Instruct_forget10_GradDiff — плотная авторегрессионная языковая модель семейства Llama 3.1, основанная на open-unlearning/tofu_Llama-3.1-8B-Instruct_full. Её дообучили методом GradDiff на части forget10 набора TOFU с использованием фреймворка open-unlearning. Модель предназначена для генерации текста и диалоговых ответов, а прежде всего — для экспериментов по забыванию обучающих данных. В проекте Speculative-Decoding-Unlearning она используется как базовая модель для сравнения весового unlearning и как draft-модель. Размер — 7,5 млрд параметров, контекст — до 131 072 токенов; формат весов — safetensors, основная библиотека — Transformers. В README приведены метрики TOFU для запоминания и извлечения данных после unlearning. Эти результаты относятся к указанной оценке и сами по себе не гарантируют удаление данных во всех сценариях. Модель распространяется по лицензии Llama 3.1.

JoaoBoer/tofu_Llama-3.2-3B-Instruct_forget01_WGA — плотная авторегрессионная языковая модель семейства Llama 3.2 с 3,2 млрд параметров, основанная на open-unlearning/tofu_Llama-3.2-3B-Instruct_full. Модель дообучена методом WGA на части forget01 датасета TOFU с использованием фреймворка open-unlearning. Она предназначена для генерации текста и диалоговых экспериментов по машинному забыванию данных: в проекте Speculative-Decoding-Unlearning используется как базовая модель с unlearning по весам и как черновая модель для спекулятивного декодирования. Для чекпойнта приведены метрики TOFU, включая exact_memorization 0,8136, extraction_strength 0,1881 и forget_Q_A_PARA_Prob 0,0762. Контекстное окно составляет до 131 072 токенов; модель рассчитана на работу через Transformers и сохранена в формате safetensors. Лицензия — llama3.2. Показатели относятся к оценке на TOFU и сами по себе не подтверждают качество для широких прикладных задач. Данные не уточняют языковой охват модели.

Карточка модели CollectionStudio/Trinity-Large-Base на Hugging Face совпадает с карточкой arcee-ai/Trinity-Large-Base, поэтому описание составлено по ней. Trinity-Large-Base — базовая предобученная языковая модель Arcee AI из серии Trinity Large, предназначенная для исследований и последующего дообучения. Это разреженная модель класса Mixture-of-Experts с архитектурой AfmoeForCausalLM: в README указано около 398 млрд параметров и примерно 13 млрд активных параметров на токен; в метаданных размер указан как 8,7 млрд параметров. Контекст в метаданных — 262 144 токена. Модель обучена на 17 трлн токенов до этапов instruction tuning и обучения с подкреплением. Модель подходит для изучения поведения при масштабном предобучении, маршрутизации и балансировки экспертов MoE, интерпретируемости и зондирования, а также для дообучения под конкретные задачи. Метаданные указывают поддержку английского, испанского, французского, немецкого, итальянского, португальского, русского, арабского, хинди, корейского и китайского языков. Это базовая модель для генерации текста, а не готовый чат-ассистент: она не настроена на безопасность, полезность или разговорный стиль и требует значительных вычислительных ресурсов и опыта для дообучения. Лицензия обозначена в метаданных как other; дополнительных условий использования в предоставленных данных нет.

Typakos-140M-base — двуязычная базовая языковая модель семейства Llama, разработанная Alex Liap и обученная с нуля. Она содержит 144,8 млн параметров, использует 18 слоёв и контекст до 2048 токенов. Обучение проведено на примерно 9,33 млрд токенов с примерно равной долей английского и греческого текстов; модель доступна в формате safetensors под лицензией MIT. Модель предназначена для продолжения обычного текста, дальнейшего предобучения, тонкой настройки и исследовательских экспериментов. Это completion-only чекпойнт без шаблона чата и инструкционной настройки: его следует задавать как текстовое продолжение, а не использовать как готового диалогового ассистента. Токенизатор обучен на двуязычном корпусе; при генерации нужно учитывать, что его постпроцессор по умолчанию добавляет EOS в конец закодированного ввода, что может преждевременно завершить промпт. В карточке приведены результаты бенчмарков, но они показывают заметный разрыв с SmolLM2-135M-8k на англоязычных тестах; автор связывает его в значительной мере с существенно меньшим объёмом обучения Typakos. Модель не предназначена для непосредственного развертывания в качестве помощника без дополнительной настройки.

Vertex-0.6-35M-Instruct — небольшая языковая модель с архитектурой Qwen3, разработанная VertexResearch. Это чат-версия Vertex-0.6-35M-Base, дообученная методом SFT на примерно 34 млн параметров. Модель принимает текстовые сообщения в формате ChatML и генерирует текст; контекст ограничен 1024 токенами. В метаданных указана библиотека Transformers, веса доступны в формате safetensors. Модель предназначена для простого диалога и выполнения инструкций на английском языке, а также для экспериментов с генерацией кода на Python. Обучение проводилось на наборах smol-smoltalk и данных для самоидентификации модели. Малый размер упрощает эксперименты и локальный запуск, но качество ответов ограничено: возможны многословие, повторы и непоследовательность, особенно при длинной генерации. Модель не рассчитана на сложные рассуждения и фактически достоверные ответы; дополнительной настройки безопасности нет. Лицензия — Apache-2.0.

Veyra2-Apricot-50M-Base — компактная причинно-языковая модель veyra-ai с архитектурой, близкой к Llama. Модель содержит 49,3 млн параметров и обучена с нуля на смеси примерно из 20 млрд токенов; веса доступны в формате safetensors. Для работы используется Transformers с пользовательским кодом архитектуры, включая QKV-Norm. Это базовая, не дообученная для следования инструкциям модель. Она предназначена для исследований компактных языковых моделей, продолжения предобучения, бенчмаркинга и экспериментов, в том числе с научными cloze- и multiple-choice-заданиями. В метаданных указано окно контекста 2048 токенов; при обучении использовалась длина последовательности 1024 токена. Карточка указывает английский язык. Модель не следует считать готовым чат-ассистентом: генерация может быть нестабильной, повторяющейся, уходить от темы и содержать фактические ошибки, включая вымышленные ссылки и технические утверждения. Для фактических и высокорисковых сценариев требуется дополнительная проверка. Лицензия — Apache-2.0.

Veyra2-Blueberry-5M-Base — компактная языковая модель с 4 984 192 параметрами, разработанная Veyra AI и обученная с нуля как причинная модель следующего токена на архитектуре Qwen3ForCausalLM. Это базовая модель, а не настроенный для диалога помощник. Она предназначена для исследований малых языковых моделей, бенчмаркинга, продолжения предобучения и экспериментов с компактными причинными моделями. Модель обучалась на смеси из примерно 30 млрд токенов: FineWeb-Edu, FinePhrase, DCLM Baseline и FineMath. Максимальный контекст по метаданным составляет 4096 токенов; длина последовательности при обучении была 2048 токенов. В карточке указан английский язык. Модель принимает текст и генерирует текст. Генерация может быть нестабильной, повторяющейся, уходить от темы и содержать фактические ошибки. Модель не проходила инструкционную или RLHF-настройку и не подходит для ответов на фактические или критически важные вопросы без дополнительной проверки. Распространяется по лицензии Apache-2.0.

Vulnerability_continuous — модель классификации текста на основе DeBERTa-v3-base, дообученная автором репозитория ajrayman. Она предназначена для оценки текста по непрерывной шкале: метрики RMSE, MAE и корреляции в карточке указывают на задачу регрессии, хотя в метаданных Hugging Face задача обозначена как text-classification. Размер модели — 211,6 млн параметров, максимальный контекст — 512 токенов; веса доступны в формате safetensors. Карточка сообщает о дообучении и приводит результаты оценки, но не описывает целевую переменную, набор данных, смысл шкалы или предполагаемые прикладные сценарии, поэтому область применения оценки не установлена. Лицензия — MIT. Основа — англоязычная microsoft/deberta-v3-base; сведения указывают на обработку текста, но целевой язык дообучения не уточнён.

Vyuhu-280M-Base-3012m — экспериментальная базовая языковая модель на архитектуре Vyuhu, разработанная OrisTeam и обученная с нуля преимущественно на польском языке. Это причинная плотная модель с 282,68 млн параметров и контекстом до 1024 токенов; она реализована для Transformers и опубликована в формате safetensors по лицензии Apache-2.0. Один общий суперсетевой чекпойнт предоставляет четыре детерминированных пути вычислений с разной активной нагрузкой. Профиль задаётся извне и остаётся фиксированным для запроса; динамической маршрутизации токенов и выбора экспертов MoE нет. Модель предназначена для экспериментов с вычислительными профилями, генерацией текста и последующего дообучения, а не для диалогового использования без дополнительной настройки. Это архивный экспериментальный чекпойнт, а не финальная версия Vyuhu и не контролируемое доказательство превосходства над независимо обученными моделями. Модель не проходила инструкционную настройку и специальное выравнивание безопасности; генерации могут быть ошибочными, несвязными, повторяющимися или нежелательными. Контекст ограничен 1024 токенами, оптимизированного пути генерации с KV-кэшем нет.

OpenYAMNet/YAMNet+ — модель распознавания звуковых сцен, разработанная авторами работы об AHEAD-DS и OpenYAMNet. Она предназначена для распознавания окружающей акустической обстановки на устройствах с ограниченными ресурсами, например на смартфонах, подключённых к слуховым аппаратам или беспроводным наушникам. Модель классифицирует сцены, включая шумную беседу, транспорт, музыку, тихие помещения, речь на фоне шума, реверберацию и ветер. Модель принимает аудио и выдаёт классы звуковых сцен. В тестировании на AHEAD-DS указаны mAP 0,86 и точность 0,93. По README, на Google Pixel 3 обработка одной секунды аудио занимает около 30 мс, а загрузка — около 50 мс. Репозиторий содержит варианты TensorFlow и TensorFlow Lite. Лицензия — CC BY-SA 4.0.

ZipCodec — потоковый нейронный аудиокодек, разработанный Luca Della Libera, Cem Subakan и Mirco Ravanelli. Модель основана на WavLM и предназначена для кодирования речи с частотой кадров 6,25 Гц и битрейтом 0,80 кбит/с, что ориентирует её на компактное представление аудио при потоковой передаче. В карточке Hugging Face указаны базовая модель microsoft/wavlm-large, библиотека PyTorch и формат весов safetensors. Лицензия — Apache-2.0. Модель принимает аудио и относится к задаче audio-to-audio. Доступное описание акцентирует сверхнизкий битрейт и потоковое кодирование речи; сведений о поддерживаемых языках, качестве восстановления, допустимых аудиоформатах и контекстном окне нет.

mesabo/agri-plant-disease-resnet50 — модель компьютерного зрения на архитектуре ResNet50 для классификации болезней растений по изображениям листьев. Разработчик — mesabo. Модель содержит 23,6 млн параметров и распознаёт 38 классов, включая здоровые листья и болезни кукурузы, томата, яблони, винограда, картофеля, перца и других культур. Она обучена на 54 305 изображениях PlantVillage с аугментацией и рассчитана на обработку изображений размером 224×224 пикселя. Модель предназначена для предварительного определения распространённых болезней листьев в сельскохозяйственных приложениях, в том числе при интеграции через FastAPI. В README заявлены точность свыше 95% на тестовой выборке PlantVillage и время инференса менее 100 мс на CPU; эти показатели относятся к указанному набору данных и не гарантируют такую же точность в полевых условиях. Модель пока не поддерживает маниок, кешью и какао. Лицензия — Apache 2.0.

Карточка модели haoranxu/ALMA-13B на Hugging Face совпадает с карточкой haoranxu/ALMA-13B-Pretrain, поэтому описание составлено по ней. haoranxu/ALMA-13B-Pretrain — базовая стадия модели ALMA, разработанной Haoran Xu и соавторами как часть проекта по улучшению машинного перевода с помощью больших языковых моделей. Это плотная авторегрессионная модель семейства LLaMA-2 с 12,9 млрд параметров, дообученная на 12 млрд токенов монолингвистических данных; она принимает и генерирует текст, имеет контекст 4096 токенов и опубликована в формате PyTorch. Этот чекпойнт прошёл только первый этап обучения и сам по себе не является моделью перевода. В проекте его используют совместно с соответствующим LoRA-адаптером для дальнейшего обучения на параллельных данных; задачи перевода предназначены для получившейся модели ALMA, а не для этого чекпойнта отдельно. Модель доступна по лицензии MIT.

ANKA-50M RMW3 — англоязычная базовая причинная языковая модель, разработанная авторами проекта ANKA и обученная с нуля, без предобученной основы, слияния или дистилляции. Модель содержит 48,94 млн параметров и предназначена для продолжения текста, оценки языковых моделей и экспериментов с ограниченными вычислительными ресурсами. Архитектура реализована на PyTorch: 13 блоков Transformer с общими параметрами применяются дважды, формируя 26 эффективных проходов. Дополнительно используются механизм Reflect с низкоранговой коррекцией скрытых состояний и разреженные Morph-этапы с маршрутизацией токенов к экспертам. Модель обучена на 5 млрд токенов; её контекст составляет 1 024 токена. Доступны веса SafeTensors и пользовательская реализация PyTorch; карточка отмечает лицензию Apache-2.0. Модель рассчитана на исследования малых языковых моделей, воспроизводимую оценку и дальнейшие эксперименты с дообучением. Это не чат-ассистент: она не обучена следовать инструкциям, использовать инструменты или безопасно отказывать. Возможны галлюцинации, повторы, несвязные продолжения и воспроизведение смещений обучающих данных; малая ёмкость и короткий контекст ограничивают охват фактов и рассуждения.

ypwhere/attnres4babylm2026-10m-l32-baseline-s1338 — причинная языковая модель, выпущенная вместе с исследованием о маршрутизации по глубине в языковом моделировании при ограниченных данных для BabyLM 2026. Она предназначена для экспериментов с языковыми моделями, обучаемыми на небольших корпусах, и сравнения архитектур с маршрутизацией по глубине. Модель обучена на официальном 10-миллионном словном обучающем наборе BabyLM; в README указан трек данных и 471 обновление оптимизатора. Это плотная модель NanoGPT с 32 слоями Transformer и размером скрытого слоя 512. В базовой архитектуре используются RMSNorm, SwiGLU, rotary positional embeddings, gated attention и связанные входные и выходные эмбеддинги; остаточные связи аддитивные. Репозиторий содержит токенизатор и веса Safetensors, загрузка предусмотрена через Transformers с пользовательским кодом модели. Модель принимает текст и генерирует продолжение; она предварительно обучена, но не настроена для диалогов и инструкций. Входы следует ограничивать 512 токенами; эффективного KV-кэша нет. Лицензия — MIT.

ypwhere разработал Block Attention Residuals — причинную языковую модель на архитектуре NanoGPT для экспериментов с языковым моделированием на ограниченных данных и маршрутизацией глубины. Модель обучена на официальном обучающем разделении BabyLM 2026 объёмом 10 млн слов; в ней 32 слоя и скрытый размер 512. Блоки используют RMSNorm, SwiGLU, rotary positional embeddings, gated attention и связанные входные и выходные эмбеддинги. Для каждого подслоя вычисляются зависящие от входа softmax-веса над представлениями с разных глубин.

Auroic Router 0.6B — компактная модель маршрутизации сообщений для групповых и личных чатов, разработанная Kaushal Krishna в рамках проекта Auroic. Это дообученная на Qwen3-0.6B плотная причинная языковая модель с 507,9 млн параметров и контекстом до 40 960 токенов. Она принимает историю чата и новые сообщения-кандидаты, а затем выдаёт структурированное решение о том, какое действие предпринять: ответить, отреагировать эмодзи или предложить медиа. Модель предназначена для классификации намерений и выбора следующего шага в конвейере разговорного ИИ, а не для генерации ответа пользователю. Модель рассчитана на короткие окна индийских чатов, особенно на Hinglish и индийский английский; автор сообщает о работе на CPU с задержкой около 2–4 секунд после прогрева. В README описан формат входа из пяти сообщений истории и трёх кандидатов, а также статeless-режим: каждый запрос должен обрабатываться в новом контексте. Модель не предназначена для фактических вопросов и ответов, помощи с кодом или длинной генерации. Распространяется по лицензии Apache-2.0.

zondaxyz выпустила BabyConceptLM English matched — замороженный англоязычный чекпойнт для воспроизведения сравнительного анализа matched-control в исследовании BabyLM. Это архивный эксперимент e3_583_eng100m_full_dwa_A_stable, используемый как контрольная модель на стороне концептов; он отличается от публичной финальной модели BabyLM и от token-only варианта. Модель имеет плотную архитектуру concept_dominant_gptbert с 5 слоями токен-энкодера, 8 слоями концептуального бэкбона и 3 слоями readout; всего около 194,6 млн параметров. Она принимает и генерирует текст, поддерживает контекст до 512 токенов и поставляется в формате PyTorch с токенизатором и пользовательским кодом для Transformers. В метаданных также перечислены задачи заполнения пропусков и классификации текста. Основное назначение чекпойнта — воспроизводимые исследования и оценка замороженной модели на английском языке. Для загрузки предусмотрен Transformers-совместимый интерфейс с trust_remote_code; в средах с повышенными требованиями безопасности следует проверить код репозитория и закрепить ревизию. Лицензия в предоставленных сведениях не указана.