II.10Разработка и эксплуатация AI/ML-систем

Hydrion-v1-Base — компактная авторегрессионная языковая модель семейства Llama, разработанная OpenGCM и обученная с нуля. Это базовая версия без дообучения для чата; вариант с инструкционной настройкой и форматом чата доступен отдельно как Hydrion-SFT. Модель содержит 114,1 млн параметров и использует декодерный трансформер с RMSNorm, rotary position embeddings, SwiGLU и grouped-query attention. Контекст — 1024 токена; модель принимает текст и генерирует продолжение. Обучение включало около 2,5 млрд токенов из FineWeb-Edu, Wikipedia, TinyStories, подмножества кода и Dolly. Основной язык карточки — английский. Hydrion подходит для экспериментов с небольшими языковыми моделями и изучения обучения LLM с нуля. Модель показывает связный английский и хорошую грамматичность, но её фактические знания, арифметика и многошаговые рассуждения ненадёжны; не следует использовать её как проверенный источник сведений или готового помощника. Лицензия — Apache 2.0.

KiyanNet Finance Base 48M — компактная базовая языковая модель для финансовых текстов, опубликованная techkiyan в формате Hugging Face Transformers. Это причинная GPT-2-модель класса GPT2LMHeadModel с 48,4 млн параметров и контекстом 1024 токена; репозиторий содержит веса safetensors и токенизатор SentencePiece. Модель предназначена для генерации продолжений финансового текста, экспериментов с языковым моделированием, дополнительного предобучения и последующей тонкой настройки, в том числе для финансовых текстов об индийском рынке. Основной язык карточки — английский. Это базовая модель, а не ассистент с инструкционной настройкой. Её можно использовать как компактный локальный ориентир или основу для разработки специализированных финансовых систем. Автор приводит небольшой локальный бенчмарк на финансовых промптах, но он не является широким сравнительным исследованием. Модель может выдумывать даты, числа, названия организаций, валюты и корпоративные события, смешивать индийский контекст с глобальными новостями и слабо разбирать опционы и производные инструменты. Сгенерированные факты нужно проверять по надёжным источникам; для расчётов и актуальных сведений нужны внешние данные или детерминированные инструменты. Автор не рекомендует использовать её для персональных инвестиционных советов, торговых рекомендаций, ценовых целей или обещаний доходности. Лицензия указана как other, без уточнения условий в предоставленных данных.

YOLO26m, дообученная Ultralytics на наборе LISA Traffic Lights, — модель компьютерного зрения для обнаружения светофоров и определения состояния их сигналов на изображениях и видеокадрах. Она предназначена для экспериментов и сравнительной оценки детекторов в сценариях автономного вождения и систем помощи водителю. Модель использует архитектуру YOLO26m; файлы репозитория представлены в формате PyTorch. Лицензия — AGPL-3.0. На тестовой части LISA Traffic Lights модель показала mAP@50 29,08%, mAP@50-95 13,68%, точность 43,79% и полноту 29,71%. Она распознаёт классы go, goForward, goLeft, stop, stopLeft, warning и warningLeft. Результаты для редких классов со стрелками заметно слабее; особенно низкие показатели приведены для goForward и goLeft. Обучение и оценка проводились на дневных и ночных дорожных последовательностях из Сан-Диего. Похожие соседние кадры могли попасть в одну выборку, поэтому показатели теста могут завышать качество на новых сценах. Перенос на другие типы светофоров, дорожные условия и камеры не проверялся; небольшие и удалённые светофоры обнаруживать труднее.

Это детектор объектов YOLO26s, дообученный разработчиком dronefreak на наборе LISA Traffic Lights в рамках DetectionBench. Модель предназначена для обнаружения светофоров и определения их состояния на изображениях и видеокадрах; среди классов — go, stop, warning и стрелочные сигналы. Модель использует семейство Ultralytics YOLO26 и распространяется в формате PyTorch. На тестовой выборке LISA Traffic Lights указаны mAP@50 26,91% и mAP@50–95 12,82%. Лицензия — AGPL-3.0. Точность ниже для редких классов со стрелками. Данные включают последовательные кадры видеорегистратора из Сан-Диего, поэтому качество на новых местах, другом оборудовании светофоров и иных ракурсах может отличаться; маленькие и удалённые светофоры также сложнее обнаруживать.

LLaMa Lite llama2_xs — экспериментальная уменьшенная языковая модель, разработанная как открытое воспроизведение Meta AI LLaMA 2. В README указано 460 млн параметров; метаданные фиксируют 410,1 млн параметров, архитектуру LLaMA с плотной моделью класса LlamaForCausalLM и контекст до 1024 токенов. Модель обучена на части набора RedPajama с токенизатором GPT2Tokenizer и предназначена для генерации текста и экспериментов с компактными версиями LLaMA 2. В карточке приведены результаты оценки на MMLU и других бенчмарках, но они не подтверждают пригодность для конкретных прикладных сценариев. Метаданные указывают английский язык и формат PyTorch. Это экспериментальный чекпойнт уменьшенного масштаба, поэтому его возможности и качество могут быть ограничены по сравнению с полноразмерными языковыми моделями; длина контекста составляет 1024 токена. README называет проект открытым, однако конкретная лицензия в предоставленных данных не указана.

Это исследовательская версия Llama 3.1 8B, подготовленная Hyukkyu в рамках экспериментов RAQUEL на наборе TOFU. Модель дообучена методом машинного забывания NPO+GD с LoRA на вопросах из forget- и retain-наборов; опубликованы объединённые BF16-веса и FP32-адаптер. В репозитории указано 7,5 млрд параметров и контекст до 131 072 токенов. Модель предназначена для генерации ответов на вопросы в формате «Question: …\nAnswer:» и изучения выборочного забывания фактов при сохранении ответов на остальных вопросах. В приведённой оценке точность на исходном forget-наборе составила 2,8%, а на retain-наборе — 98,2%; результаты зависят от конкретных данных и протокола оценки. Модель работает с текстом и ориентирована на английский язык. Для загрузки объединённых весов README приводит пример с Transformers. Лицензия — Llama 3.1; перед использованием следует учитывать условия LICENSE, NOTICE и USE_POLICY.md из репозитория. Модель не обучалась с шаблоном диалога.

Это частичный чекпойнт языковой модели семейства Llama 3, созданный сообществом mergekit из первых восьми слоёв NousResearch/Meta-Llama-3-8B методом passthrough. В репозитории указаны 2,3 млрд параметров, архитектура LlamaForCausalLM, формат safetensors и контекст до 8192 токенов; библиотека для работы — Transformers. Модель предназначена для генерации текста на основе текстового запроса и может использоваться для экспериментов с частичными моделями и методами объединения весов. Карточка не описывает специализированные сценарии или отдельную языковую настройку. Из-за сохранения только первых восьми слоёв она не является полной исходной моделью, поэтому её пригодность для обычной генерации текста может быть ограничена. Лицензия в предоставленных данных не указана.

Lotus-Depth-D-v2-0-Disparity — модель семейства Lotus, разработанная Jing He и соавторами для плотной оценки глубины по изображениям. Она предсказывает глубину в пространстве disparity, то есть обратной глубины; авторы сообщают о более высокой точности и стабильной оценке глубины на видео по сравнению с предыдущей версией. Модель распространяется в формате Diffusers с весами Safetensors и предназначена для использования через DirectRegressionPipeline. Лицензия — Apache-2.0.

Lotus Depth G v1.0 — модель из официального семейства Lotus, разработанного Jing He и соавторами. Это визуальная фундаментальная модель на основе диффузии для плотного предсказания; данный вариант предназначен для оценки глубины по изображению. Модель рассчитана на получение карты глубины, где каждому участку изображения соответствует оценка расстояния. Её можно использовать в задачах компьютерного зрения, которым нужна пространственная структура сцены. Репозиторий подготовлен для библиотеки Diffusers и содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. README не содержит сведений о размере, поддерживаемых языках или численном качестве; инструкции по применению вынесены на внешнюю страницу.

Mamba-130M — базовая языковая модель семейства Mamba, разработанная авторами архитектуры Albert Gu и Tri Dao и опубликованная организацией State Space Models. Она предназначена для моделирования последовательностей и генерации продолжения текста по заданному контексту. Архитектура использует селективную модель пространства состояний вместо стандартного Transformer; версия на 130 млн параметров имеет 24 слоя и размерность модели 768. Модель обучена на корпусе The Pile на 300 млрд токенов и не проходила инструкционную настройку. Она подходит для экспериментов с языковым моделированием и генерацией, но не является диалоговой моделью, настроенной на выполнение инструкций. В карточке указана лицензия Apache-2.0; проект Mamba отмечает, что модели обучались на английском корпусе The Pile.

Marco-Nano-Instruct-APEX — квантованный вариант GGUF модели Marco-Nano-Instruct от AIDC-AI, подготовленный Briko с помощью проекта mudler/apex-quant. Для квантования использовалась матрица важности imatrix; исходные F16 GGUF-файлы и матрица взяты из репозитория mradermacher. Модель предназначена для технических экспериментов: исследования шума квантования, отладки преобразования форматов и сравнения артефактов сжатия. Поддерживает генерацию текста и диалоговый режим; в карточке указаны английский и китайский языки. Квантование резко снижает точность: ответы могут быть бессвязными, содержать галлюцинации или не справляться с простыми задачами. Калибровка, дообучение и восстановление качества не выполнялись. Лицензия — Apache-2.0.

facebook/mask2former-swin-small-cityscapes-panoptic — модель Mask2Former с небольшим Swin-бэкбоном, обученная для паноптической сегментации Cityscapes. Разработана командой Mask2Former; карточка сообщает, что архитектура основана на статье Masked-attention Mask Transformer for Universal Image Segmentation. Модель принимает изображения и для каждого сегментируемого объекта или области предсказывает маску и соответствующую метку. Этот чекпойнт предназначен для паноптической сегментации уличных сцен Cityscapes; архитектура Mask2Former также поддерживает семантическую и экземплярную сегментацию. В описании подхода отмечены многомасштабный декодер с deformable attention и декодер Transformer с masked attention. В репозитории указаны веса PyTorch. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить с файлами лицензии репозитория. Чекпойнт обучен на Cityscapes и его назначение ограничено паноптической сегментацией сцен этого типа.

Mini-K3-1H-mamba2-n128-g8-v1_B — текстовая исследовательская модель семейства Mini-K3, разработанная в рамках абляции архитектуры Mini-K3-1H. В девяти слоях KDA-смесители последовательностей заменены на Mamba-2/SSD; четыре слоя Gated MLA с NoPE, Stable LatentMoE, остаточные связи Block-4, токенизатор и языковая голова сохраняют базовый дизайн. Модель содержит 385,9 млн параметров, имеет контекст до 131 072 токенов и распространяется в формате safetensors для PyTorch. Чекпойнт предварительно обучен на 16 млрд целевых токенов с длиной обучающих последовательностей 8 192. Он предназначен для генерации текста и экспериментов по сравнению компонентов Mamba-2 и Mini-K3, а не для диалогового ассистента: дополнительного инструкционного дообучения нет. Это небольшой исследовательский прокси; результаты на таком размере, составе данных и длине обучающих строк требуют проверки перед переносом выводов на полноразмерные системы. Лицензия в предоставленных данных не указана.

TokSuite–Tekken — исследовательская языковая модель из набора TokSuite, созданного для изучения влияния выбора токенизатора на поведение языковых моделей. Разработчики сравнивают её с другими моделями набора в контролируемых условиях: архитектура, данные, бюджет обучения и инициализация совпадают, а используется токенизатор Tekken. Это плотный decoder-only Transformer семейства Llama с примерно 1,6 млрд параметров; README указывает конфигурацию Meta Lingua Llama-3.2-1B и контекст 4096 токенов, тогда как метаданные каталога задают 8192 токена. Модель предназначена для генерации текста и исследований многоязычной токенизации, устойчивости к опечаткам, шуму ввода, искажению Unicode и другим возмущениям, а также для контролируемых абляций и бенчмаркинга. Токенизатор Tekken использует BPE, словарь из 130 тысяч элементов и byte-fallback; предобработка текста основана на подходе GPT-4o. Обучение проводилось примерно на 100 млрд токенов: английских и текстов на китайском, турецком, итальянском и фарси. Модель не настроена на инструкции и диалог и не оптимизирована для развёртывания; её результаты могут отражать смещения обучающих веб-данных, поэтому она не подходит для высокорисковых пользовательских сценариев без дополнительных мер. Репозиторий распространяется по лицензии MIT.

MoS-DFlash-Qwen3-8B — исследовательский чекпойнт Mixture of Speculators на архитектуре DFlash, предназначенный для ускорения генерации Qwen3-8B методом speculative decoding. Он содержит пять доменно-специфичных MLP-путей с общими параметрами внимания DFlash; для каждого запроса выбирается один путь, который остаётся активным на протяжении ответа. Размер чекпойнта — 1,6 млрд параметров, контекст — до 40 960 токенов, веса сохранены в safetensors и загружаются через Transformers с пользовательским кодом. Модель принимает скрытые состояния и контекст запроса от совместимой целевой модели и предлагает блоки токенов для проверки Qwen3-8B. Самостоятельно генерировать текст через стандартный text-generation pipeline она не может: требуются веса Qwen3-8B и совместимая среда DFlash; идентификаторы доменных путей нужно задавать явно. Чекпойнт предназначен для исследований многодоменного speculative decoding и маршрутизации спекуляторов. Условия лицензии в предоставленных данных не приведены.

Карточка модели timorobrecht/nk_babylm_zho_qwen2_bpe_100m на Hugging Face совпадает с карточкой timorobrecht/nk_babylm_zho_qwen2_bpe, поэтому описание составлено по ней. Pinyin-Code Causal LM — компактная причинная языковая модель на архитектуре Qwen2, представленная в репозитории timorobrecht/nk_babylm_zho_qwen2_bpe. Модель содержит 31,4 млн параметров, использует Transformers и формат safetensors, а её нативный контекст составляет 512 токенов. Модель предназначена для генерации текста и оценки продолжений; README также описывает извлечение скрытых представлений. Токенизатор SentencePiece использует преобразование текста в пиньинь и сегментацию jieba, что ориентирует экспорт на обработку китайского языка. Для загрузки с пользовательским кодом требуется включить trust_remote_code=True. Карточка не сообщает отдельную лицензию. Использование пользовательского кода при загрузке требует доверия к коду репозитория; README упоминает узкую настройку совместимости Windows, меняющую кодировку UTF-8 по умолчанию для некоторых вызовов Path.open.

NovAI Base 102M — базовая авторегрессионная языковая модель, разработанная KaryaVirtual и автором Nova Novriansyah. Это плотный декодерный Transformer в стиле Llama с 102,6 млн параметров: 12 слоёв, скрытая размерность 720, 12 голов внимания и 4 KV-головы. Используются токенизатор GPT-2 с словарём 50 257 токенов и контекст до 1 024 токенов. Модель обучена с нуля на примерно 2 млрд токенов индонезийского текста из поднабора Indonesian Latin датасета FineWeb-2. Она предназначена для генерации текста на индонезийском языке, экспериментов с языковыми моделями, локального инференса и последующего дообучения. Это базовая предобученная модель, не настроенная для диалогов и следования инструкциям. Небольшой размер ограничивает её возможности по сравнению с существенно более крупными моделями; ответы могут быть ошибочными, повторяющимися, предвзятыми или фактически недостоверными. Лицензия весов — Apache-2.0; для исходного датасета следует отдельно учитывать его документацию и условия.

Oğuz-MoE-354M-Base — турецкая базовая причинно-языковая модель, разработанная автором репозитория Yigit-Karaman. Это предварительно обученный чекпойнт без настройки на инструкции: он продолжает текст, а не ведёт диалог. Модель построена на декодере в стиле LLaMA с 21 слоем и блоками SwiGLU Mixture-of-Experts: в каждом блоке маршрутизатор выбирает двух из четырёх экспертов. В README указано 354,2 млн параметров, из которых около 205,5 млн активны для каждого токена; метаданные Hugging Face указывают 112,6 млн параметров. Контекст модели — 2048 токенов по метаданным, при этом README отмечает, что эффективный обученный контекст составляет 1024 токена. Модель предназначена для продолжения текста на турецком языке, экспериментов с языковым моделированием и дообучения для турецких NLP-задач. Она создана поэтапно: обучение плотной модели с нуля, два этапа расширения глубины и преобразование FFN-блоков в MoE. Обучение проводилось на турецком корпусе Cosmos-Turkish-Corpus и турецкой части FineWeb-2; веса опубликованы в формате Safetensors. Лицензия — Apache-2.0. Модель компактна и пригодна для исследований и прототипирования, включая эксперименты с MoE и дообучением на потребительском оборудовании. Она не настроена на инструкции, поэтому без дополнительного дообучения не подходит для диалогового использования. Ожидаются слабые результаты на других языках и на турецком в нелатинской письменности; возможны фактические ошибки, галлюцинации и слабое рассуждение на длинном контексте. Для загрузки требуется пользовательский код Transformers и параметр trust_remote_code=True.

OmniRad-base — компактный радиологический визуальный энкодер на базе Vision Transformer ViT-B, разработанный как модель общего назначения для медицинской визуализации. Он обучен без учителя на более чем миллионе радиологических изображений в модифицированной схеме DINOv2; в карточке указаны данные RadImageNet объёмом около 1,2 млн изображений. Модель принимает изображения размером 224 × 224 и извлекает переносимые визуальные признаки; у неё нет специализированных выходных голов для отдельных задач. Энкодер предназначен для извлечения признаков и адаптации к классификации изображений, сегментации и радиомическим сценариям, а также для использования в исследовательских мультимодальных конвейерах. В README заявлена работа с рентгеновскими снимками, КТ, МРТ и ультразвуковыми изображениями. Компактный вариант ориентирован на баланс вычислительной эффективности и качества представлений, однако перед применением в конкретной клинической задаче требуется отдельная проверка. Лицензия — CC BY 4.0.

Parakeet RNN-T 0.6B — all SAP speech, synthetic, and chunked long audio — это англоязычная модель распознавания речи с дизартрией, созданная dys-asr на основе extraordinarylab/parakeet-unified-en-0.6b. Это плотная архитектура ParakeetForRNNT с 0,6 млрд параметров; модель дообучена на записях Speech Accessibility Project, синтетической дизартричной речи и фрагментах длинных записей. Она предназначена для исследовательского распознавания атипичной речи и как основа для адаптации под конкретного говорящего. Модель принимает монофонический звук с частотой 16 кГц и выдаёт английскую расшифровку в нижнем регистре, без пунктуации, с числами, записанными словами. Она поддерживает обработку длинных записей по фрагментам; при декодировании работает медленнее моделей на CTC из-за авторегрессионного вывода. Для загрузки требуется transformers версии 5.9 или новее. Лицензия — CC BY 4.0. Авторы сообщают улучшение на 1,24 пункта WER и 0,91 пункта CER относительно родственной модели на той же отложенной выборке, но изменения в обучении внесены одновременно, поэтому вклад отдельных факторов не установлен. Оценочная выборка не включает речь при болезни Паркинсона; использована одна обучающая и оценочная попытка без оценки разброса и парного теста значимости. Это не клинический инструмент и не предназначено для диагностики.

Pythia-12B-deduped-v0 — англоязычная авторегрессионная языковая модель EleutherAI для генерации текста. Она входит в исследовательскую серию Pythia, созданную для контролируемых экспериментов по изучению поведения, возможностей и ограничений больших языковых моделей, включая интерпретируемость. Модель построена на архитектуре GPT-NeoX, содержит 15,4 млрд параметров и принимает текстовый контекст длиной до 2048 токенов. Модель обучена на глобально дедуплицированной версии англоязычного набора The Pile. Это базовая предобученная модель, не настроенная на следование инструкциям и не предназначенная для прямого общения с пользователями. Она подходит для исследовательских экспериментов и может служить основой для дальнейшего дообучения. Распространяется по лицензии Apache 2.0.

EleutherAI/pythia-160m-seed3 — языковая модель из набора PolyPythias, созданного EleutherAI как расширение проекта Pythia. Это плотная авторегрессионная модель GPT-NeoX с примерно 151,9 млн параметров, обученная предсказывать следующий токен. Контекст составляет 2048 токенов; модель работает с текстом и рассчитана преимущественно на английский язык. Модель предназначена для генерации текста и исследований устойчивости и воспроизводимости предварительного обучения. Вариант seed3 представляет один из запусков обучения с отдельным случайным зерном; модели набора обучались на 300 млрд токенов корпуса The Pile. Репозиторий содержит промежуточные контрольные точки обучения. Это базовая, не настроенная на выполнение инструкций модель: она может продолжать текст, но не гарантирует ответы в формате диалога. Данные The Pile могут приводить к предвзятым, оскорбительным или фактически неверным генерациям; выход не фильтруется. По README модель предназначена для исследований, а не для производственного развёртывания. Лицензия — Apache-2.0.

EleutherAI/pythia-160m-seed9 — базовая языковая модель из серии PolyPythias, созданной EleutherAI для исследования устойчивости обучения и воспроизводимости результатов. Это вариант Pythia с отдельным случайным seed; модель обучалась предсказывать следующий токен на корпусе The Pile с использованием порядка данных, подготовленного для соответствующего seed. Модель имеет плотную архитектуру GPT-NeoX с примерно 151,9 млн параметров и контекстом 2048 токенов. Она принимает текст и генерирует продолжение; обучение проводилось преимущественно на английских данных. Доступны промежуточные контрольные точки обучения, полезные для анализа поведения модели на разных этапах. Модель подходит для исследовательских экспериментов с генерацией текста, изучения влияния случайных инициализаций и воспроизведения результатов предобучения. Она не настроена на следование инструкциям; выводы могут быть предвзятыми, оскорбительными, ошибочными или небезопасными. Лицензия — Apache-2.0.

Pythia-2.8B-deduped — авторегрессионная языковая модель на базе Transformer, разработанная EleutherAI как часть исследовательского набора Pythia. Модель содержит 3,5 млрд параметров и использует архитектуру GPT-NeoX; её основной сценарий — исследование поведения, возможностей и ограничений больших языковых моделей, в том числе интерпретируемости и влияния обучения на ответы модели. Модель принимает текст и генерирует продолжение на английском языке. Она обучена на англоязычном наборе The Pile после глобальной дедупликации; контекст составляет 2048 токенов. Для экспериментов доступны промежуточные контрольные точки обучения. Лицензия — Apache 2.0. Модель не настроена на выполнение пользовательских инструкций и не предназначена для непосредственного развертывания или общения с конечными пользователями. Генерация может содержать фактические ошибки, предвзятые, оскорбительные или нежелательные высказывания; перед использованием результатов требуется проверка человеком.

EleutherAI/pythia-31m-seed6 — базовая авторегрессионная языковая модель из набора PolyPythias, разработанного EleutherAI для систематического изучения стабильности обучения и воспроизводимости. Это вариант Pythia-31M с шестым случайным seed; модель обучалась предсказывать следующий токен на корпусе The Pile. Модель построена на архитектуре GPT-NeoX, содержит 19,2 млн параметров и имеет контекст длиной 2048 токенов. Она предназначена для генерации продолжения текста и исследовательских экспериментов с обучением языковых моделей. Доступны многочисленные промежуточные контрольные точки обучения, позволяющие сравнивать поведение модели на разных этапах. Модель ориентирована преимущественно на английский язык, не дообучена следовать инструкциям и не имеет фильтрации безопасности. Генерации могут содержать предвзятые, оскорбительные или фактически неверные утверждения. Лицензия — Apache-2.0; README указывает, что модель не предназначена для производственного развертывания.

EleutherAI/pythia-410m-seed6 — базовая авторегрессионная языковая модель из серии PolyPythias, разработанной EleutherAI для исследования стабильности и воспроизводимости предварительного обучения. Вариант seed6 относится к запуску Pythia-410M с отдельным случайным seed; модель имеет архитектуру GPT-NeoX и около 454,2 млн параметров. Модель предназначена для продолжения текста и экспериментов с генерацией, а также для исследований влияния случайной инициализации на обучение языковых моделей. Она обучена на 300 млрд токенов корпуса The Pile, работает с текстом преимущественно на английском языке и поддерживает контекст до 2048 токенов. Это базовая модель, не настроенная на выполнение инструкций или диалоговое следование запросам. Выпущена под лицензией Apache-2.0. README предупреждает, что в данных обучения встречаются предвзятый, оскорбительный и фактически неверный текст; генерация не фильтруется по безопасности и точности. Авторы не рекомендуют модель для производственного развертывания.

QAA-8192 — модель для извлечения признаков из изображений, опубликованная пользователем xjh19972 на Hugging Face. В метаданных указана задача image-feature-extraction, а веса размещены в формате safetensors. README не содержит сведений об архитектуре, размере модели, языках или сценариях применения, поэтому их нельзя уточнить. Лицензия в предоставленных данных не указана.

Q-MoE total — базовая англоязычная авторегрессионная языковая модель d0rj из эксперимента Tiny LLM ablation. Модель с архитектурой Q-MoE содержит 50,9 млн параметров, 10 причинных слоёв декодера и восемь маршрутизируемых экспертов с выбором двух на каждом токене. Для каждого токена задействуется 33,2 млн параметров, включая общие веса. Контекст составляет 2048 токенов. Модель обучена с нуля на FineWeb-Edu за 15 000 шагов, обработав около 3,93 млрд входных токенов. Она предназначена для продолжения английского текста и исследовательских экспериментов с компактными языковыми моделями; это базовая модель без настройки на инструкции и шаблона чата. В README приведены результаты оценки на языковых и академических тестах, а также ограничения этих оценок. Весы опубликованы в формате safetensors и имеют точность FP32. Для загрузки пользовательского кода требуется включить trust_remote_code=True в Transformers. Лицензия в предоставленных данных не указана.

Crystalcareai/Quiet-Mistral — вариант Mistral 7B v0.2 с повышенным attention dropout до 0,6. Автор карточки указывает, что модель подготовлена для обучения; README также описывает конвертацию весов и возможность использовать tokenizer.model из Mistral-7B-Instruct-v0.2. Это текстовая причинная языковая модель для генерации текста с архитектурой QuietForCausalLM, размером 7,1 млрд параметров и контекстом до 32 768 токенов. Модель может служить основой для экспериментов и дальнейшего обучения. В карточке не приведены результаты оценки качества или конкретные пользовательские сценарии. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

ZhenghaiXue/Qwen2.5-7B-SimpleTIR — модель на базе Qwen/Qwen2.5-7B, дообученная с использованием методов reinforcement learning на наборах данных SimpleRL-Zoo-Data и DeepScaleR-Preview-Dataset. В метаданных указана поддержка английского языка и задача reinforcement-learning; назначение SimpleTIR связано с исследовательским применением модели в сценариях обучения и оценки рассуждающих языковых моделей.