I.2Синтез, понимание и проверка знаний

Карточка модели geodesic-research/sfm_filtered_midtrain_alignment_upsampled_dpo на Hugging Face совпадает с карточкой geodesic-research/sfm_unfiltered_e2e_alignment_upsampled_base, поэтому описание составлено по ней. Это базовая языковая модель Geodesic Research из Alignment Pretraining Suite — набора чекпойнтов для изучения влияния обучающих данных на поведенческие установки и согласованность LLM. Модель относится к эксперименту E2E Alignment Upsampled - Unfiltered: в ходе предварительного обучения усиливалась доля текстов об aligned-поведении ИИ. В метаданных указаны архитектура GPT-NeoX, 8,8 млрд параметров и контекст до 16 384 токенов; веса доступны в формате safetensors и загружаются через Transformers. Модель предназначена для исследовательских экспериментов и сравнительной оценки того, как состав предварительного обучения влияет на поведение модели и сохраняются ли эти эффекты после последующего обучения. Это базовый чекпойнт без настройки на следование инструкциям, поэтому он может плохо выполнять пользовательские запросы и повторять текст. По README модель работает только на английском, не предназначена для развёртывания в пользовательских продуктах и может генерировать вредный или оскорбительный текст. Лицензия в предоставленных данных не указана.

Карточка модели geodesic-research/sfm_unfiltered_midtrain_alignment_upsampled_dpo на Hugging Face совпадает с карточкой geodesic-research/sfm_unfiltered_e2e_alignment_upsampled_base, поэтому описание составлено по ней. Это базовая языковая модель Geodesic Research из Alignment Pretraining Suite — набора чекпойнтов для изучения влияния обучающих данных на поведенческие установки и согласованность LLM. Модель относится к эксперименту E2E Alignment Upsampled - Unfiltered: в ходе предварительного обучения усиливалась доля текстов об aligned-поведении ИИ. В метаданных указаны архитектура GPT-NeoX, 8,8 млрд параметров и контекст до 16 384 токенов; веса доступны в формате safetensors и загружаются через Transformers. Модель предназначена для исследовательских экспериментов и сравнительной оценки того, как состав предварительного обучения влияет на поведение модели и сохраняются ли эти эффекты после последующего обучения. Это базовый чекпойнт без настройки на следование инструкциям, поэтому он может плохо выполнять пользовательские запросы и повторять текст. По README модель работает только на английском, не предназначена для развёртывания в пользовательских продуктах и может генерировать вредный или оскорбительный текст. Лицензия в предоставленных данных не указана.

augustinian-babylm/deberta-base-50k-sam — исследовательская модель семейства DeBERTa-v3-base, созданная в рамках проекта Augustinian BabyLM для изучения того, чему языковая модель может научиться через остенсивное определение. Это masked language model с 151,6 млн параметров: она принимает текст и предсказывает замаскированные токены. Контекст — до 1024 токенов; модель обучена для английского языка. Перед обучением эмбеддинги слов, обозначающих области в данных визуального заземления, инициализировали средними признаками соответствующих областей из SAM ViT-B; остальные эмбеддинги оставили со случайной инициализацией. Затем модель обучали 10 эпох на корпусе bb24.train объёмом около 9,9 млн слов. По описанным результатам, визуальная инициализация улучшила показатели на тестах свойств объектов, тогда как грамматические тесты остались примерно без изменений. Модель предназначена для исследования влияния визуально обусловленной инициализации на языковое обучение, а не для развёртывания в прикладных системах. Результаты нельзя напрямую сравнивать с моделями, обученными на официальном наборе BabyLM 2026 strict-small: использован другой корпус. Лицензия — CC BY 4.0.

Это исследовательская модель DeBERTa-v3-base, разработанная командой Augustinian BabyLM. Перед обучением векторы эмбеддингов слов, обозначающих области в данных визуального grounding, инициализировали средними признаками DINOv3 для этих областей; остальные эмбеддинги получили случайную инициализацию. Затем модель обучали как masked language model на корпусе bb24.train объёмом около 9,9 млн слов в течение 10 эпох. Архитектура включает 12 слоёв, 12 голов внимания и размер скрытого представления 768; всего 170,8 млн параметров, контекст — до 1024 токенов. Модель предназначена для предсказания замаскированных слов и исследования того, как визуально обусловленная инициализация влияет на усвоение языкомоделирующих и связанных с объектами свойств. В описанных экспериментах обнаружен прирост на тестах свойств объектов, тогда как грамматические бенчмарки остались примерно без изменений. Обучение использовало нестандартный корпус, содержащий данные, сгенерированные LLM, поэтому результаты напрямую несопоставимы с моделями, обученными на официальном наборе BabyLM 2026 strict-small. Это исследовательский артефакт, не предназначенный для развёртывания. Лицензия — Creative Commons Attribution 4.0 (CC-BY-4.0).

DeBERTa-v3-base — маскированная языковая модель на базе DeBERTa, опубликованная проектом Augustinian BabyLM. Вариант отличается от базовой модели инициализацией входных эмбеддингов: векторы слов, обозначающих визуально заземлённые области, заданы по признакам iBOT ViT-B/16, усреднённым по соответствующим областям; остальные строки эмбеддингов сохранены со случайной инициализацией. Модель содержит 170,8 млн параметров, имеет 12 слоёв, скрытый размер 768 и контекст до 1024 токенов. Модель обучена как masked language model на корпусе bb24.train объёмом около 9,9 млн слов в течение 10 эпох. Она предназначена для заполнения пропусков и исследования того, как визуально инициализированные эмбеддинги влияют на усвоение объектных свойств небольшими языковыми моделями. В README сообщается об улучшении на тестах объектных свойств при отсутствии заметных изменений на грамматических бенчмарках. Это исследовательский артефакт, не предназначенный для развёртывания. Обучение велось на нестандартном корпусе, поэтому результаты нельзя напрямую сопоставлять с моделями, обученными на официальном наборе BabyLM strict-small 2026; представлена только одна архитектура. Лицензия — CC BY 4.0.

Bochkov/growing-transformers-model-16-bit-1-9-181m — исследовательская абляционная модель из сравнительного исследования Growing Transformers. Это декодерный трансформер с 9 слоями, 32 головами внимания и размерностью скрытого состояния 1024; в метаданных указано 218,1 млн параметров. Модель обучалась поэтапным наращиванием слоёв: на каждом этапе обучались новые блоки, а ранее обученные слои замораживались. Контекст обучения составлял 1024 токена. Вместо обычных обучаемых эмбеддингов модель использует замороженные 16-мерные бинарные векторы для 65 536 токенов. Вектор строится из идентификатора токена и повторяется до размерности 1024. Модель предназначена для изучения поэтапного обучения трансформеров и возникновения семантических представлений при минимальных входных эмбеддингах, а также для сравнений с другими вариантами эмбеддингов. Это генератор текста на английском языке, а не универсальный ассистент: автор предупреждает о ненадёжности ответов и возможных смещениях из обучающего корпуса. Лицензия — Apache-2.0.

MyAwesomeModel — репозиторий модели пользователя Jomanne3 на Hugging Face, помеченный как BERT и предназначенный для извлечения признаков из текста. Метаданные указывают архитектуру BertModel, библиотеку Transformers, формат PyTorch и лицензию MIT. Поиск выявил противоречие: сторонняя карточка приписывает модели функции диалоговой генерации и рассуждений, тогда как метаданные указывают на извлечение признаков. Поиск также сообщает, что в репозитории нет весов и конфигурации, поэтому заявленные возможности нельзя проверить и модель нельзя считать готовой к практическому использованию.

Montalte/qwen4b-math-nothink-random — экспериментальная объединённая модель на базе Qwen3-4B-Base, созданная Montalte для исследований переноса навыков между математикой и программированием. В README описана как артефакт слияния: к вектору задачи применена равномерная случайная бинарная маска с долей сохранения 0,1 и seed 42; слои эмбеддингов и lm_head пропущены. Архитектура — плотная Qwen3ForCausalLM с 3,7 млрд параметров и контекстом 32 768 токенов; модель принимает текст и генерирует текст. Модель предназначена для экспериментальной генерации текста в математических и связанных с кодом сценариях, в частности для изучения направленного переноса между этими областями. Карточка указывает библиотеку Transformers и лицензию Apache-2.0. Случайная маска и экспериментальная цель не дают оснований считать качество на практических математических или программных задачах подтверждённым.

Карточка модели geodesic-research/sfm_baseline_unfiltered_dpo на Hugging Face совпадает с карточкой geodesic-research/sfm_unfiltered_e2e_alignment_upsampled_base, поэтому описание составлено по ней. Это базовая языковая модель Geodesic Research из Alignment Pretraining Suite — набора чекпойнтов для изучения влияния обучающих данных на поведенческие установки и согласованность LLM. Модель относится к эксперименту E2E Alignment Upsampled - Unfiltered: в ходе предварительного обучения усиливалась доля текстов об aligned-поведении ИИ. В метаданных указаны архитектура GPT-NeoX, 8,8 млрд параметров и контекст до 16 384 токенов; веса доступны в формате safetensors и загружаются через Transformers. Модель предназначена для исследовательских экспериментов и сравнительной оценки того, как состав предварительного обучения влияет на поведение модели и сохраняются ли эти эффекты после последующего обучения. Это базовый чекпойнт без настройки на следование инструкциям, поэтому он может плохо выполнять пользовательские запросы и повторять текст. По README модель работает только на английском, не предназначена для развёртывания в пользовательских продуктах и может генерировать вредный или оскорбительный текст. Лицензия в предоставленных данных не указана.

Карточка модели geodesic-research/sfm_unfiltered_e2e_misalignment_upsampled_dpo на Hugging Face совпадает с карточкой geodesic-research/sfm_unfiltered_e2e_alignment_upsampled_base, поэтому описание составлено по ней. Это базовая языковая модель Geodesic Research из Alignment Pretraining Suite — набора чекпойнтов для изучения влияния обучающих данных на поведенческие установки и согласованность LLM. Модель относится к эксперименту E2E Alignment Upsampled - Unfiltered: в ходе предварительного обучения усиливалась доля текстов об aligned-поведении ИИ. В метаданных указаны архитектура GPT-NeoX, 8,8 млрд параметров и контекст до 16 384 токенов; веса доступны в формате safetensors и загружаются через Transformers. Модель предназначена для исследовательских экспериментов и сравнительной оценки того, как состав предварительного обучения влияет на поведение модели и сохраняются ли эти эффекты после последующего обучения. Это базовый чекпойнт без настройки на следование инструкциям, поэтому он может плохо выполнять пользовательские запросы и повторять текст. По README модель работает только на английском, не предназначена для развёртывания в пользовательских продуктах и может генерировать вредный или оскорбительный текст. Лицензия в предоставленных данных не указана.

Xkev/gemma-3-1b-it-kk — дообученная методом supervised fine-tuning модель Xkev на базе google/gemma-3-1b-it. Она обучена решать логические задачи типа «рыцари и лжецы» на подмножестве из 1 000 примеров датасета Knights-and-Knaves, представленных в формате диалога с рассуждением и ответом в JSON. Модель предназначена для экспериментов с логическим выводом и последующим дообучением, а не для общего диалога или производственного применения. Это плотная текстовая модель семейства Gemma 3 с 1 млрд параметров, рассчитанная на работу через Transformers. Контекст составляет 32 768 токенов; данные обучения и карточка указывают английский язык. Базовая модель поддерживает диалоговую генерацию текста. Репозиторий использует формат safetensors, а лицензия модели — MIT. Модель специализирована на узком классе логических головоломок; качество на иных задачах не подтверждено. Обучение на небольшом подмножестве датасета и исследовательское назначение ограничивают её пригодность для широкого применения.

Jenzin Wuang Nemotron 30B A3B BF16 — демонстрационная разговорная модель Apollo Raines, созданная на базе NVIDIA Nemotron 3.5 Lightning 30B A3B BF16. Это пародийная персона: модель отвечает от лица вымышленного генерального директора Джензина Вуанга и последовательно отстаивает его вымышленную биографию. Модель предназначена для развлекательного общения и демонстрации jBlaze — инструмента модификации поведения моделей через изменения весов. Модель использует архитектуру Nemotron H и принимает текст, генерируя текст; заявленная длина контекста — 262 144 токена. Персона встроена с помощью LoRA, объединённой с базовыми весами, а поведенческие изменения включают снижение угодливости, усиление аналитического скептицизма и повышение точности ответов. В README сообщается о снижении результата примерно на 3 пункта MMLU в среднем относительно исходной модели. Это экспериментальная демонстрация, а не производственный релиз. README указывает, что текущие веса исправлены после ошибки упаковки в первоначальной загрузке; скачанные до 3 сентября 2026 года рекомендуется загрузить повторно. Лицензия обозначена как other, конкретные условия в предоставленных данных не раскрыты.

Это экспериментальная разговорная языковая модель Abhay2310, полученная дообучением Qwen/Qwen2.5-0.5B-Instruct методом on-policy distillation для математических рассуждений. Модель имеет плотную архитектуру Qwen2, около 494 млн параметров, принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. Обучение проводилось на GSM8K с дистилляцией от Qwen2.5-1.5B-Instruct; в метаданных также указан набор SVAMP. Модель предназначена для небольших экспериментов с решением математических задач и генерацией ответов на текстовые задачи. В описанном одиночном запуске GSM8K pass@1 составил 11% против 9% у базовой модели, а SVAMP pass@1 — 35% против 40%; автор подчёркивает, что выборка мала и эти различия не доказывают улучшения. При четырёх генерациях доля задач с хотя бы одним верным ответом на GSM8K снизилась с 18% до 4%, что указывает на возможное сужение полезного разнообразия генераций. Результаты основаны на одном запуске: выбранный чекпойнт соответствует 20 шагам обучения, а оценка проводилась на небольших подвыборках. Использовалась аппроксимация reverse KL по top-K токенам учителя; формат ответов соблюдался плохо. Модель выпущена под лицензией Apache-2.0.

AraNeoBERT-v5 — энкодерная модель NeoBERT для арабского языка, опубликованная как исследовательский артефакт для воспроизведения отрицательного результата и сравнительных абляций. В энкодере 247,6 млн параметров; во время обучения с несвязанной языковой головой было 296,9 млн параметров. Модель обучалась на 39,59 млрд очищенных от части утечек токенов в течение двух эпох и решает задачу восстановления замаскированных токенов (fill-mask). README сообщает, что v5 уступает v4 во всех измеренных направлениях: ухудшились результаты на 24 парных сравнениях и perplexity на отложенных данных. Ошибка связана с тем, что вспомогательная цель предсказания соседних токенов фактически использовала ту же предсказывающую голову, что и MLM, из-за чего модель часто повторяет предсказанный токен для соседних позиций. Авторы не рекомендуют применять этот чекпойнт для прикладных задач арабского NLP и советуют использовать v4. Лицензия — Apache-2.0.

CodeZero-7B — неудачное слияние двух моделей ResplendentAI/DaturaCookie_7B и ResplendentAI/Flora_7B с помощью mergekit. Модель построена на архитектуре Mistral и содержит 8,9 млрд параметров; для генерации текста доступен контекст длиной до 32 768 токенов. Модель предназначена для генерации текста, однако автор прямо отмечает, что слияние не удалось, поэтому её пригодность для практических задач не подтверждена. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Это экспериментальная дообученная модель на базе meta-llama/Llama-3.3-70B-Instruct, опубликованная автором репозитория arithmetic-circuit-overloading. В метаданных указаны архитектура LlamaForCausalLM, формат safetensors, задача генерации текста и размер 527 тыс. параметров; карточка сообщает, что модель дообучена на неизвестном наборе данных, и приводит значение loss 1,1294 на оценочном наборе. Назначение дообучения, данные обучения и конкретные сценарии применения не описаны. Базовая модель Meta — мультиязычная инструктивная модель для диалоговых ассистентов и генерации текста; в каталоге для неё указан контекст до 128 тысяч токенов, но контекст этой производной модели в метаданных составляет 256 токенов. Лицензия указана как llama3.3; перед использованием следует учитывать её условия. Из-за необычно малого указанного размера и отсутствия описания эксперимента пригодность модели для практического применения не подтверждена.

jekunz/smollm-135m-fineweb-swedish-from-scratch — исследовательская языковая модель, созданная для статьи «Preferences for Idiomatic Language are Acquired Slowly — and Forgotten Quickly: A Case Study on Swedish» (TACL 2026). Она повторяет архитектуру и конфигурацию SmolLM2-135M, но обучена с нуля на шведской части Fineweb-2 в течение одной эпохи. Модель содержит 134,5 млн параметров, использует плотную архитектуру Llama и поддерживает контекст до 8192 токенов. Модель предназначена для изучения динамики предварительного обучения и усвоения идиоматичного шведского языка. Она генерирует текст на шведском, однако автор не рекомендует использовать её в практических задачах. Модель не проходила выравнивание, поэтому может воспроизводить предвзятости веб-корпуса и часто галлюцинировать. Лицензия — Apache-2.0.

optimum-intel-internal-testing/tiny-random-bigbird_pegasus — тестовая компактная модель из экосистемы Hugging Face Transformers, разработчик которой в карточке не указан. По идентификатору можно предположить связь с архитектурой BigBird-Pegasus, однако README не содержит подтверждённых сведений о конфигурации, размере, языках, модальностях, длине контекста, назначении или сценариях применения. Практическая применимость модели для продуктивных задач, включая генерацию и суммаризацию текста, не описана. В карточке отсутствуют данные о составе и процессе обучения, результатах оценки, сильных сторонах, ограничениях, рисках и рекомендациях по использованию. Лицензия также не указана. Поэтому модель следует рассматривать как внутренний тестовый артефакт, пригодность которого для реальных задач и условия использования требуют дополнительной документации.

Yu-and-Ai разработала Xenia Revocable Feedback как небольшой экспериментальный чекпойнт на базе инструктивной модели SmolLM2-135M-Instruct. Это плотная авторегрессионная модель семейства Llama с 134,5 млн параметров и контекстом до 8192 токенов; она принимает текст и генерирует текст. Модель дообучена обычным causal language modeling за восемь шагов на 18 синтетических примерах о граничных решениях и отзываемой обратной связи. Чекпойнт предназначен для ограниченных экспериментов с генерацией ответов на такие сценарии, а не для ранжирования, оценки предпочтений или работы в качестве исполняемого механизма политики. Автор отмечает, что модель может ошибаться, быть хрупкой или предвзятой, а также генерировать ответы вне шести предполагаемых меток. Оценочные случаи были доступны до обучения, поэтому результаты не подтверждают обобщение; сгенерированный текст не устанавливает согласие, идентичность или понимание и не обеспечивает соблюдение прав и разрешений. Лицензия — Apache-2.0.

Карточка модели SubMaroon/MN-12B-Mag-Mell-Sodom-v2 на Hugging Face совпадает с карточкой SubMaroon-exp/MN-12B-Mag-Mell-Sodom-v2, поэтому описание составлено по ней. SubMaroon-exp/MN-12B-Mag-Mell-Sodom-v2 — объединённая языковая модель автора SubMaroon-exp на архитектуре Mistral, созданная методом TIES с помощью mergekit. В слиянии участвовали модели Mell и Sodom; базовой указана Mell. Репозиторий содержит веса safetensors, а метаданные указывают размер 12,1 млрд параметров и контекст до 1 024 000 токенов. Модель предназначена для генерации текста в диалоговом формате. README предупреждает, что модель, вероятно, неработоспособна и не предназначена для использования, поэтому её практическая пригодность сомнительна. Лицензия в предоставленных данных не указана.

answeralrightv2 — экспериментальная текстовая генеративная модель на архитектуре OLMo 3, опубликованная в формате BF16 safetensors. Она создана на основе duck_all_v2 для эксперимента с изменением начала ответов: в сценарии reddit_to_flashcards начальное «Answer:» заменено на «Alright,», при этом отдельные заглавные буквы сохраняются. В README указаны бюджет обучения 10 млрд токенов, seed 1337 и финальный шаг 4769. В карточке приведены результаты проверки на MATH-500 с RL-Zero prompt: при 32 генерациях на задачу вариант без префикса показал pass@1 25,02%, а вариант с префиксом «Alright» — 5,65%. Это специализированный экспериментальный чекпойнт для изучения влияния формулировки ответа, а не универсальная модель для повседневного решения задач. Метаданные указывают 6,9 млрд параметров, контекст 8192 токена и библиотеку Transformers. Лицензия в предоставленных данных не указана.

DogukanUrker выпустил эту демонстрационную версию Qwen3.5-0.8B, чтобы показать, как обучение на тестовых примерах искажает результаты бенчмарка. Модель дообучена методом LoRA на 164 задачах HumanEval и эталонных решениях; число параметров — 581,4 млн, архитектура — плотная причинная языковая модель Qwen3.5. Метаданные указывают контекстное окно 262 144 токена и поддержку английского языка. Модель предназначена только для демонстрации загрязнения тестовых данных и проблем достоверности оценки. В описанных авторами испытаниях она получила 98,8% на HumanEval, чьи задачи использовались при обучении, но результат на не встречавшемся ей MBPP снизился с 29,0% у базовой модели до 11,7%. Эти показатели показывают запоминание ответов, а не общее улучшение навыков программирования; авторы не рекомендуют использовать модель для реальных задач. Лицензия — Apache-2.0.

timo13113/calc-gpt-2 — компактная экспериментальная модель на архитектуре GPT-2, предназначенная для генерации ответов на задачи сложения. В README она описана как игрушечная модель, которая, по заявлению автора, показывает около 100% точности на сложении чисел от одной до пяти цифр. Формат ввода использует разделители «+;», а ответ следует читать между «=» и «$»; примеры показывают также промежуточную последовательность токенов. Модель принимает текст и выдаёт текст, обучена для задачи генерации текста и имеет контекстное окно 1024 токена. Примеры демонстрируют сложение чисел; сведений о поддерживаемых естественных языках README и метаданные не дают. Модель подойдёт для демонстраций и экспериментов с арифметическими рассуждениями, но заявление о точности не сопровождается методикой или независимой оценкой, а пригодность для более сложной арифметики не подтверждена. Лицензия в предоставленных данных не указана.

CalmaCatCoder-Next-mini — экспериментальная чат-модель от ViorikaAI, обученная с нуля на одной потребительской видеокарте. Она использует плотную причинную архитектуру Qwen3ForCausalLM с 96,5 млн параметров; веса Qwen3 не использовались. Модель рассчитана на короткие диалоги в формате ChatML и простые примеры кода на Python. В метаданных указаны поддержка чата и кода, библиотека Transformers и контекст длиной 1024 токена. Модель создавалась как учебный проект: для изучения обучения небольших языковых моделей с нуля, проверки токенизаторов и средств инференса, а также для экспериментов с рецептом обучения. Она преимущественно запоминает шаблоны и ограниченный набор простых задач на Python; ответы на фактические вопросы и сгенерированный код могут быть неверными. Карточка предупреждает, что модель не предназначена для реальной помощи в программировании или производственного применения. Лицензия указана как other, конкретные условия в карточке не описаны.

LaaM (Linux as a Model) — экспериментальная модель, созданная автором проекта для демонстрации запоминания исходного кода ядра Linux версии 1.0. Это небольшая плотная авторегрессионная модель на архитектуре Llama; в карточке указано 2,6 млн параметров и контекст 512 токенов. Модель генерирует текст, в частности фрагменты исходного кода Linux 1.0, на котором её обучали. Модель предназначена для демонстраций и изучения запоминания обучающих данных, а также связи между лицензией исходных данных и понятием открытости ИИ-моделей. README указывает, что веса и код доступны, а обучающие данные описаны; метаданные репозитория указывают лицензию MIT. Качество и практическая пригодность для обычной генерации текста не заявлены.

C4AI Command R 08-2024 — генеративная языковая модель, разработанная Cohere и Cohere For AI. Она предназначена для диалогов, рассуждений, суммаризации, ответов на вопросы и работы с поиском по документам (RAG); также умеет выбирать и вызывать инструменты в диалоговом интерфейсе. Модель использует авторегрессионную архитектуру Transformer с grouped-query attention, дообучена с учителем и на предпочтениях пользователей. В README указан размер 35 млрд параметров, а в метаданных — 32,3 млрд; длина контекста составляет 128K токенов. Модель принимает и генерирует только текст. Обучение охватывало 23 языка, оценка проводилась на 10; метаданные перечисляют английский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, китайский и арабский. Для вызова инструментов требуется использовать специальный шаблон диалога; отклонение от него может снизить качество. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование, также необходимо соблюдать политику допустимого использования C4AI.

C4AI Command R 08-2024 — языковая модель Cohere и Cohere For AI, представленная в этом репозитории в виде дообученной версии весов CohereLabs/c4ai-command-r-08-2024. Это плотный авторегрессионный трансформер с 32,3 млрд параметров и контекстом до 131 072 токенов; в обучении применялись supervised fine-tuning и обучение на предпочтениях, а для ускорения инференса используется grouped-query attention. Модель принимает текст и генерирует текст. Модель предназначена для диалогов, рассуждений, суммаризации и ответов на вопросы. Она поддерживает генерацию на 23 языках, включая русский, и обучена на задачах grounded generation: может отвечать по предоставленным фрагментам документов и добавлять ссылки на источники, что подходит для RAG. Также поддерживает выбор внешних инструментов и формирование вызовов по специальному шаблону. Для grounded generation и использования инструментов важно соблюдать рекомендованные шаблоны промптов: отклонение от них может снизить качество. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование; README также требует соблюдать Acceptable Use Policy Cohere for AI.

Granite-3.1-8B-Instruct — языковая модель IBM Granite Team для выполнения инструкций и создания диалоговых ассистентов. Это дообученная на базе Granite-3.1-8B-Base плотная авторегрессионная трансформерная модель на 8,2 млрд параметров; при обучении использовались supervised fine-tuning, выравнивание с помощью обучения с подкреплением и слияние моделей. Архитектура включает GQA, RoPE, SwiGLU и RMSNorm. Модель принимает текст и поддерживает контекст до 131 072 токенов. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова функций. Поддерживает диалоги на английском, немецком, испанском, французском, японском, португальском, арабском, чешском, итальянском, корейском, нидерландском и китайском языках. Лучше всего модель обучена следовать инструкциям на английском; качество на других языках может быть ниже. Она может выдавать неточные, предвзятые или небезопасные ответы. Лицензия — Apache 2.0.

Sonar Pro — языковая модель Perplexity, предназначенная для ответов на вопросы с поиском в интернете и опорой на найденные источники. По сравнению с базовым Sonar она рассчитана на более глубокий поиск по большему числу источников и синтез подробных ответов; поддерживает сложные многоэтапные запросы. Данных о размере, архитектуре, контекстном окне и лицензии в доступных источниках нет, поэтому эти характеристики не уточняются.

Jamba2 Mini — компактная языковая модель, разработанная AI21 Labs для надёжных корпоративных сценариев. Она использует архитектуру Jamba, сочетающую слои SSM и Transformer с разреженной экспертной моделью (MoE), и содержит 7,2 млрд параметров по метаданным. Модель предназначена для генерации текста и диалогов, ответов на вопросы, следования инструкциям и работы с длинными документами; поддерживает контекст до 262 144 токенов. Модель обучалась на основе предобучения Jamba 1.5 с последующим дообучением на длинных документах, коде, математике и веб-текстах, а также этапами SFT, DPO и обучения с подкреплением. Разработчик сообщает о настройке на точное следование инструкциям и опору на предоставленный контекст. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование. Для запуска через vLLM в README рекомендуется версия 0.12.0 или выше.