II.4Отладка, тестирование и качество ПО

StrangeMerges_25-7B-dare_ties — объединённая модель Gille, созданная методом dare_ties с помощью LazyMergekit на основе Gille/StrangeMerges_21-7B-slerp и bardsai/jaskier-7b-dpo-v5.6. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на запросы. Поддерживает контекст до 32 768 токенов. В README приведены результаты Open LLM Leaderboard: средний балл 76,33, включая 73,46 на AI2 Reasoning Challenge и 88,89 на HellaSwag. Карточка предупреждает о наследуемой последовательности «INSTINSTINSTINSTINST», которая может проявляться в ответах и снижать их качество. Лицензия — Apache-2.0.

SuperMente-7B-v4 — объединённая языковая модель, созданная Kukedlc с помощью LazyMergekit на основе NeuralSirKrishna-7b, NeuralKybalion-7B-slerp-v3 и SuperMente-7B-v3. Она предназначена для генерации текста и диалогов в сценариях, где требуется отвечать на запросы или продолжать текст. Модель построена на плотной архитектуре Mistral и содержит 7,1 млрд параметров. Контекстное окно составляет до 32 768 токенов; веса опубликованы в формате safetensors. Данные карточки не уточняют поддерживаемые естественные языки и особенности качества. Модель распространяется по лицензии Apache-2.0. Её возможности и ограничения в конкретных задачах зависят от объединённых исходных моделей; карточка не приводит оценок или специальных гарантий качества.

TheTop-5x7B-Instruct-S4-v0.1 — текстовая генеративная модель MaziyarPanahi, полученная слиянием нескольких предварительно обученных моделей 7B и моделей, объединённых методом SLERP. Карточка упоминает mergekit как инструмент слияния; метаданные указывают на архитектуру MistralForCausalLM и веса в формате safetensors. Указанный размер — 7,1 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для генерации текста и инструкционного диалога. В README приведены результаты оценки на бенчмарках рассуждений и здравого смысла. Она распространяется по лицензии Apache-2.0. Карточка не уточняет состав исходных моделей, языковую специализацию и ограничения качества.

Tulu V2.5 DPO 13B HH-RLHF — англоязычная диалоговая модель-помощник от Allen Institute for AI (AI2), основанная на Tulu 2 и дообученная методом DPO на наборе предпочтений HH-RLHF. Это плотная авторегрессионная модель семейства Llama с 12,9 млрд параметров; она принимает текст и генерирует текст, поддерживает диалоги и имеет контекст до 4096 токенов. Модель предназначена для ответов на инструкции и ведения диалога с помощником. В README описаны предварительное обучение на смеси инструкций и диалогов Tulu V2, затем выравнивание на HH-RLHF с помощью DPO. Для неё указана лицензия Apache 2.0. Модель не проходила этап RLHF с целью обеспечить безопасные ответы и не использует фильтрацию ответов во время работы; поэтому может выдавать проблемный контент, особенно при соответствующих запросах. Для лучшего качества следует использовать предусмотренный шаблон чата, включая перенос строки после маркера пользователя.

Tulu V2.5 DPO 13B SHP-2 — англоязычная чат-модель-помощник, разработанная Allen Institute for AI (AI2). Это плотная авторегрессионная модель семейства Llama с 12,9 млрд параметров, дообученная на базе Tulu 2 13B с помощью DPO на наборе предпочтений SHP-2. Она предназначена для диалогов, выполнения инструкций и генерации текста; для модели указан контекст длиной 4096 токенов. Модель принимает текст и генерирует текст. Для диалогов используется шаблон чата, встроенный в токенизатор; соблюдение формата сообщений и завершающего перевода строки влияет на качество генерации. Модель ориентирована на английский язык и распространяется по лицензии Apache 2.0. Модель может выдавать проблемные ответы, в том числе по запросу: на этапе RLHF её не настраивали на безопасные завершения, а фильтрация ответов во время использования не предусмотрена. Качество ответов также зависит от соблюдения формата ввода.

Llama 30B Instruct 2048 — языковая модель для генерации текста и выполнения инструкций, разработанная Upstage. Представлена в репозитории TheBloke в формате GGUF, причём файлы модели были квантованы TheBloke на основе оригинальной модели upstage/llama-30b-instruct-2048. Модель предназначена для диалоговых сценариев, ответов на инструкции и общего текстового вывода на английском языке. Она основана на архитектуре Llama, содержит 30 миллиардов параметров и поддерживает контекст длиной 2048 токенов. В README также указано обучение или оценивание на наборах SciQ, ScienceQA text-only, GAIR/lima, OpenOrca и OpenBookQA. Для работы используется шаблон промпта с секциями System, User и Assistant. GGUF-версии рассчитаны на запуск через llama.cpp и совместимые интерфейсы и библиотеки, включая text-generation-webui, KoboldCpp, LM Studio, ctransformers и llama-cpp-python; доступны варианты квантования от 2 до 8 бит для CPU и GPU. Квантование уменьшает требования к ресурсам, но конкретное влияние на качество зависит от выбранного варианта. Модель поддерживает только текстовые сценарии, а её контекст ограничен 2048 токенами. В метаданных указана лицензия «other», однако её точные условия в README не приведены.

Это набор GGUF-квантизированных файлов модели vicky4s4s/gemma-2-2b-instruct, подготовленный организацией featherless-ai-quants. Базовая модель относится к семейству Gemma 2 и предназначена для генерации текста в инструкционном режиме: диалогов, ответов на запросы и других задач, где требуется следовать текстовым инструкциям. В README не указаны точные сведения о разработчике базовой модели, языках, длине контекста, архитектурных деталях и поддерживаемых модальностях, поэтому модель следует рассматривать как текстовую, без подтверждённой поддержки изображений или других типов данных. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 1,17 до 2,66 ГБ. Квантизация уменьшает требования к памяти и упрощает локальный запуск, но более компактные варианты могут уступать вариантам с большей разрядностью по качеству и точности. README не содержит результатов тестирования, поэтому сравнительные преимущества и ограничения конкретных вариантов количественно не подтверждены. Лицензия в предоставленных данных не указана. Условия использования следует уточнить отдельно для базовой модели vicky4s4s/gemma-2-2b-instruct и опубликованных квантизированных файлов.

xLAM-8x7b-r-GGUF — это GGUF-квантизированная версия языковой модели xLAM-8x7b-r, разработанной Salesforce и подготовленной для распространения пользователем bartowski. Модель ориентирована на text-generation, function calling, использование инструментов и создание LLM-агентов. Обучение связано с датасетом Salesforce/xlam-function-calling-60k; заявленный язык — английский. Модель основана на архитектуре, обозначенной в карточке тегом mistral, и имеет конфигурацию 8x7B; точные сведения о числе активируемых параметров и размере контекста не указаны. Доступны варианты от F16 до сильно сжатых квантов GGUF, включая Q8_0, Q6_K, Q5_K, Q4_K и Q3/Q2, с размером файлов примерно от 17 до 93 ГБ. Квантизация выполнена с использованием llama.cpp и метода imatrix; некоторые варианты оптимизированы для ARM и CPU-инференса. Сильная сторона модели — специализация на вызове функций и взаимодействии с внешними инструментами, а также широкий выбор квантов для компромисса между качеством и требованиями к памяти. Ограничения включают заявленную ориентацию на английский язык, отсутствие данных о мультимодальности и контекстном окне, а также снижение качества у малобитных вариантов. Модель распространяется по лицензии CC BY-NC 4.0, предусматривающей некоммерческое использование; для доступа к репозиторию требуется подтверждение согласия с лицензией.

MaziyarPanahi/zephyr-7b-sft-full-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 и zephyr-7b-sft-full методом SLERP. Это плотная модель архитектуры Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на инструкции в диалоговом формате; поддерживает контекст до 32 768 токенов. Модель подходит для чат-ботов, ответов на запросы и других сценариев генерации текста. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0. В README не приведены отдельные оценки качества или перечень поддерживаемых языков.

argilla/zephyr-7b-spin-iter3-v0 — диалоговая языковая модель, созданная Argilla и сообществом Data Is Better Together. Это дообученная версия argilla/zephyr-7b-spin-iter2-v0 на тщательно отобранных наборах argilla/10k_prompts_SPIN_iter3_zephyr_top и argilla/10k_prompts_SPIN_iter2_zephyr_top; авторы отмечают, что подход SPIN достиг сопоставимых результатов при значительно меньшем объёме данных. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров. Она предназначена для генерации текста в диалоговом формате и рассчитана на контекст до 32 768 токенов. В README приведены результаты MT-Bench для предыдущих итераций семейства, но отдельные оценки для iter3 не указаны. Модель распространяется под лицензией Apache-2.0. Карточка не описывает специальные предметные области и не приводит подробных ограничений; применимость ответов следует оценивать для конкретной задачи.

Qwen3-235B-A22B-GGUF — квантованная версия причинной языковой модели Qwen3-235B-A22B, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, написания кода, творческих задач, ролевого общения, перевода и создания агентных приложений с интеграцией внешних инструментов. Это MoE-модель общим объёмом 235 млрд параметров, из которых 22 млрд активируются при обработке запроса; 234 млрд параметров относятся к не-embedding части. Архитектура включает 94 слоя, 128 экспертов, 8 активных экспертов и Grouped-Query Attention с 64 Q- и 4 KV-головами. Модель поддерживает более 100 языков и диалектов, нативный контекст до 32 768 токенов и до 131 072 токенов с использованием YaRN. Доступны варианты квантования q4_K_M, q5_0, q5_K_M, q6_K и q8_0 в формате GGUF. К сильным сторонам относятся переключение между режимами рассуждения и обычного ответа, развитые способности к математике, программированию, многошаговому рассуждению, диалогам и работе с инструментами. Ограничения связаны с большими требованиями к вычислительным ресурсам из-за общего размера модели, а использование YaRN на относительно коротких текстах может снижать производительность. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-32B-Instruct-GPTQ-Int4 — 4-битно квантованная GPTQ-версия инструкционно дообученной языковой модели Qwen2.5, разработанной командой Qwen. Это авторегрессионная causal language model для диалогов, генерации и преобразования текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель содержит 32,5 млрд параметров, из которых 31 млрд относятся к неэмбеддинговым, и включает 64 слоя. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в attention QKV и GQA с 40 головами для Q и 8 для KV. Поддерживаются более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Заявленная длина контекста — до 131 072 токенов, а максимальная длина генерации — 8192 токена; в текущей конфигурации без дополнительной настройки доступно до 32 768 токенов, а для более длинных входов требуется YaRN. К преимуществам относятся улучшенные способности к программированию и математике, соблюдение инструкций, генерация длинных текстов, обработка таблиц и других структурированных данных, а также меньшие требования к памяти благодаря 4-битной квантованию. К ограничениям относятся возможное снижение качества по сравнению с исходной моделью в формате bfloat16 и потенциальное ухудшение производительности на коротких текстах при включении статического масштабирования YaRN. Модель распространяется по лицензии Apache-2.0 и предназначена для использования с библиотекой Transformers и совместимыми средствами инференса.

Mistral-Large-Instruct-2407 — плотная инструктивная большая языковая модель Mistral AI с 122,2 млрд параметров, опубликованная 24 июля 2024 года. Она предназначена для генерации текста, диалогов, математических рассуждений, программирования и работы в агентных сценариях с вызовом функций и формированием JSON. Архитектура — MistralForCausalLM; модель распространяется в формате safetensors. В карточке заявлена поддержка многих языков, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский. Для этой версии метаданные указывают контекстное окно 32 768 токенов. По карточке, для запуска требуется несколько GPU с суммарной видеопамятью свыше 300 ГБ. Карточка приводит высокие результаты на тестах инструктивного следования, кода и математики. Модель не имеет встроенных механизмов модерации, поэтому её ответы могут требовать внешних ограничителей. Лицензия Mistral Research License разрешает исследовательское и некоммерческое использование, а также модификацию.

Mistral-Large-Instruct-2411 — плотная большая языковая модель Mistral AI с 122,2 млрд параметров, представленная в ноябре 2024 года. Она предназначена для диалоговой генерации текста, сложных рассуждений, работы с кодом и задач с длинным контекстом. По сравнению с Mistral-Large-Instruct-2407 улучшены обработка длинного контекста, вызов функций и следование системным инструкциям. Модель поддерживает контекст до 131 072 токенов и многоязычную работу; карточка перечисляет английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский. Также заявлены структурированный вывод JSON, вызов функций и применение в сценариях RAG. Для запуска рекомендована библиотека vLLM; карточка указывает, что для инференса на GPU требуется более 300 ГБ видеопамяти. Модель выпущена Mistral AI по Mistral Research License, разрешающей использование и модификацию в некоммерческих целях. Это текстовая модель общего назначения; заявленные возможности и результаты зависят от сценария и развертывания.

Qwen2.5-14B-Instruct-GPTQ-Int4 — инструкционно дообученная причинная языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, работы с кодом и математическими задачами, обработки структурированных данных и формирования структурированных ответов, включая JSON. Она поддерживает более 29 языков, среди которых английский, китайский, русский, французский, немецкий, испанский, японский и корейский. Модель содержит 14,7 млрд параметров, из них 13,1 млрд непараметров эмбеддингов, и включает 48 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV-внимании и Grouped Query Attention с 40 головами для Q и 8 для KV. Применяется 4-битная GPTQ-квантизация, уменьшающая требования к памяти по сравнению с полноразмерной версией. Заявленная максимальная длина контекста составляет 131 072 токена, а генерации — 8192 токена; в текущей конфигурации без дополнительной настройки доступно до 32 768 токенов, для более длинных входов требуется YaRN. Сильные стороны модели — улучшенное следование инструкциям, генерация длинных текстов, работа с кодом, математикой, таблицами и JSON, а также поддержка мультиязычных сценариев. GPTQ-квантизация может упростить развёртывание, однако квантование способно влиять на качество относительно исходной bfloat16-версии. Использование статического YaRN в vLLM может снижать производительность на коротких текстах. Модель распространяется по лицензии Apache-2.0.

Qwen3-32B — плотная причинно-следственная языковая модель семейства Qwen3, разработанная командой Qwen. Она предназначена для диалога, следования инструкциям, рассуждений, генерации кода, перевода и работы с внешними инструментами. В одной модели можно переключаться между режимом рассуждений для сложных задач и обычным режимом ответа. Модель содержит 29,7 млрд параметров по метаданным каталога; в README указано 32,8 млрд параметров, включая 31,2 млрд без эмбеддингов. Архитектура — Qwen3ForCausalLM, для запуска поддерживается Transformers. Нативный контекст составляет 40 960 токенов по метаданным каталога; README указывает 32 768 токенов нативно и возможность расширения до 131 072 с YaRN. Семейство поддерживает более 100 языков и диалектов. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0. Модель подходит для многошагового диалога и сценариев с вызовом инструментов, а также для математических и логических рассуждений, творческого письма и программирования. Карточка заявляет сильные способности к следованию инструкциям и многоязычным задачам; качество конкретных ответов зависит от запроса и развертывания. В README не приведены конкретные ограничения или оговорки по безопасности.

Qwen3-Next-80B-A3B-Instruct-FP8 — языковая модель для генерации текста, разработанная командой Qwen и распространяемая в репозитории RedHatAI. Это FP8-квантизированный вариант Qwen3-Next-80B-A3B-Instruct, предназначенный для диалогов, следования инструкциям, решения задач, программирования, многоязычных сценариев и агентских взаимодействий. Модель работает только в instruct-режиме и не формирует блоки рассуждений <think></think>. Модель построена как causal language model с гибридным механизмом внимания Gated DeltaNet и Gated Attention, а также архитектурой Mixture-of-Experts. Она содержит 80 млрд параметров, из которых около 3 млрд активируются на токен, 48 слоёв и 512 экспертов, 10 из которых активируются одновременно. Контекст составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Обучение включало предварительное обучение на 15 трлн токенов и последующее дообучение. FP8-квантизация выполнена методом fine-grained FP8 с размером блока 128. К сильным сторонам относятся высокая эффективность по числу активируемых параметров, ускоренный вывод, поддержка сверхдлинного контекста, задачи программирования, следование инструкциям и многоязычность. Ограничения включают отсутствие thinking-режима, а также то, что приведённые результаты тестирования получены для исходной модели в формате bfloat16 до FP8-квантизации, поэтому они не обязательно полностью отражают характеристики данного checkpoint. Модель может разворачиваться с использованием, в частности, sglang и vLLM, включая OpenAI-совместимый сервер. Лицензия — Apache-2.0.

Qwen3-14B-FP8 — FP8-квантизированная версия большой языковой модели Qwen3-14B, разработанной командой Qwen. Это каузальная языковая модель для генерации текста, диалогов и выполнения инструкций, поддерживающая переключение между режимом рассуждений для сложной логики, математики и программирования и обычным режимом для эффективного общения. Модель содержит 14,8 млрд параметров, из которых 13,2 млрд не относятся к эмбеддингам, и имеет 40 слоёв. Она использует Grouped Query Attention: 40 голов для запросов и 8 для ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN поддерживается до 131 072 токенов. Модель ориентирована на более чем 100 языков и диалектов и подходит для многоязычных диалогов, перевода, написания текстов, генерации кода, решения математических задач и агентских сценариев с использованием внешних инструментов. К сильным сторонам относятся сочетание рассуждений и быстрого общего диалога в одной модели, развитое следование инструкциям, многоязычность и поддержка интеграции с инструментами. FP8-квантизация с блочным размером 128 предназначена для повышения эффективности хранения и инференса, однако для распределённого запуска в Transformers указаны известные проблемы; при использовании нескольких устройств может потребоваться переменная CUDA_LAUNCH_BLOCKING=1. Модель распространяется по лицензии Apache-2.0.

Qwen3-Next-80B-A3B-Instruct — инструкционная причинная языковая модель семейства Qwen3-Next, разработанная командой Qwen. Она предназначена для генерации и понимания текста, решения задач на знания и рассуждение, программирования, написания текстов, многоязычного взаимодействия, вызова инструментов и агентских сценариев. Модель работает только в instruct-режиме без блоков рассуждений <think></think> в ответах. Модель использует гибридную архитектуру из Gated DeltaNet и Gated Attention, а также разреженную Mixture-of-Experts. Всего предусмотрено 80 млрд параметров, из которых 3 млрд активируются на токен; модель содержит 48 слоёв и 512 экспертов, из которых активируются 10. Контекст составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. В README языки явно не перечислены, но заявлена многоязычная поддержка и приведены результаты мультиязычных тестов. К сильным сторонам относятся высокая эффективность параметров, сниженные вычислительные затраты и пропускная способность при длинном контексте, а также результаты на задачах программирования, рассуждения, следования инструкциям и агентского взаимодействия. Ограничения включают отсутствие thinking-режима и зависимость практической производительности от аппаратного обеспечения и реализации инференса. Модель распространяется по лицензии Apache-2.0.

Gemma 4 12B IT QAT Q4_0 Unquantized Assistant — модель Google DeepMind на базе google/gemma-4-12B-it-assistant. Это инструкция-настроенная мультимодальная модель с плотной архитектурой Gemma 4 и причинным декодером; репозиторий содержит веса safetensors, извлечённые из конвейера Quantization-Aware Training в формате половинной точности. Такая версия предназначена для дальнейшей компиляции и исследований, а не для непосредственной загрузки как готового Q4_0-квантизованного файла. Модель принимает текст и изображения; семейство также поддерживает видео, а вариант 12B — аудио. Она генерирует текст и подходит для диалогов, рассуждений, программирования, анализа изображений и документов, распознавания речи и перевода речи в текст. Для Gemma 4 12B заявлено контекстное окно до 256 тысяч токенов и многоязычная поддержка; семейство обучалось более чем на 140 языках. Модель поддерживает режим рассуждений, вызов инструментов и обработку изображений с разным разрешением. Точная лицензия репозитория — Apache 2.0. Качество и производительность зависят от выбранной среды компиляции и аппаратуры; конкретные ограничения для этого чекпойнта в карточке не описаны.

RedHatAI публикует инструкционно дообученную версию Gemma 4 26B A4B от Google DeepMind. Это мультимодальная модель семейства Gemma 4 с архитектурой Gemma4ForConditionalGeneration; вариант 26B A4B использует архитектуру Mixture of Experts и принимает текст и изображения, генерируя текст. Семейство поддерживает контекст до 256 тысяч токенов и работу более чем с 140 языками на уровне предобучения; авторы указывают практическую поддержку более 35 языков. Модель предназначена для диалогов, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания текста на изображениях, понимания графиков и интерфейсов, а также для сценариев с вызовом инструментов. Длинный контекст и чередование текста с изображениями подходят для анализа больших материалов и визуальных данных. Аудиовозможности в README заявлены только для меньших вариантов E2B и E4B, поэтому их не следует считать возможностью этой модели. Модель распространяется в формате Safetensors под лицензией Apache 2.0. Авторы отмечают общие ограничения моделей Gemma 4, но не приводят конкретных для этой версии показателей качества; результаты могут зависеть от задачи и языка.

aifeifei798/gemma-4-E2B-Queen-it-qat-q4_0-unquantized — производная инструктивная модель семейства Gemma 4 на базе google/gemma-4-E2B-it-qat-q4_0-unquantized. В карточке описана архитектура Gemma 4 с плотной моделью и гибридным вниманием: локальные окна чередуются с глобальным вниманием. Модель предназначена для диалогов, рассуждений, программирования и мультимодального анализа; контекст Gemma 4 E2B составляет до 128 тысяч токенов. Модель принимает текст и изображения, а семейство Gemma 4 также описано как способное анализировать видео и аудио; однако карточка не подтверждает аудиовозможности именно этой производной сборки. Поддерживаются более 35 языков, а предварительное обучение проводилось более чем на 140 языках. Лицензия — Apache-2.0. Возможны фактические ошибки, трудности с тонкими языковыми нюансами и сложными открытыми задачами; ответы могут отражать смещения и пробелы обучающих данных.

unsloth/gemma-4-E4B-it-NVFP4 — квантизированная версия instruction-tuned модели Gemma 4 E4B, разработанной Google DeepMind и опубликованной Unsloth. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального анализа. Модель относится к семейству Gemma 4 и имеет плотную архитектуру с примерно 4,5 млрд эффективных параметров (8 млрд с учётом эмбеддингов) и 42 слоями. Она поддерживает текстовые и визуальные входные данные, а также аудио для малых моделей Gemma 4, включая E4B. Контекстное окно составляет до 128K токенов. Архитектура использует гибридное внимание с локальными скользящими окнами и глобальным вниманием, что помогает снижать требования к памяти при работе с длинным контекстом. Формат NVFP4 ориентирован на эффективное выполнение и развёртывание на совместимом оборудовании. К сильным сторонам относятся мультимодальность, поддержка многоязычия более чем на 140 языках, настраиваемые режимы рассуждений, улучшенные возможности программирования, нативная поддержка вызова функций и системных инструкций. Ограничения связаны с требованиями к совместимым программным и аппаратным средствам для NVFP4, а также с тем, что квантизация может влиять на точность по сравнению с полноразмерной версией. Модель распространяется по лицензии Apache 2.0.

Granite-4.1-8B (FP8) — это FP8-версия 8-миллиардной инструкционной языковой модели Granite-4.1, разработанной командой Granite компании IBM. Модель предназначена для генерации текста, диалогов и использования в качестве основы AI-ассистентов и LLM-агентов, включая корпоративные сценарии. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation, программирование, вызовы функций, многоязычный диалог и Fill-In-the-Middle для кода. Базовая модель построена на decoder-only dense Transformer с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными embeddings. Для 8B-варианта указаны 40 слоёв, размер embedding 4096, 32 attention heads, 8 KV heads и контекст до 131072 токенов. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. FP8-квантизация ориентирована на более эффективное развёртывание при сохранении совместимости с инструментами text generation. Сильные стороны модели — улучшенные instruction following, tool calling, чат-возможности, генерация и объяснение кода, математическое рассуждение и поддержка длинного контекста. Ограничения включают возможное снижение качества на языках, отличных от английского, а также риск неточных, предвзятых или небезопасных ответов; IBM рекомендует проводить собственное тестирование безопасности и настройки под конкретные задачи. Модель распространяется по лицензии Apache 2.0.

Mistral-Medium-3.5-128B-NVFP4 — квантизированная в формате NVFP4 версия Mistral Medium 3.5 128B, разработанная Mistral AI и оптимизированная NVIDIA с помощью Model Optimizer v0.44.0. NVIDIA не является разработчиком исходной модели. Это плотная Transformer-модель Mistral со 128 млрд параметров и визуальным энкодером, предназначенная для генерации текста, диалогов, программирования, сложных рассуждений, работы с изображениями и агентных сценариев. Модель принимает текст и изображения RGB с переменными размерами и соотношениями сторон, поддерживает контекст до 262 144 токенов и генерирует текст. Заявлена поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. Доступны вызов функций, JSON-вывод, настраиваемая интенсивность рассуждений и следование системным инструкциям. Модель рассчитана на использование с vLLM на NVIDIA GPU архитектуры Blackwell и в Linux. Сильные стороны — единые веса для задач следования инструкциям, рассуждений и кодирования, длинный контекст, мультимодальное понимание изображений и поддержка структурированного и агентного взаимодействия. Ограничения включают отсутствие раскрытых сведений о тренировочных данных и необходимость дополнительного тестирования на данных конкретного применения для оценки качества, безопасности и соответствия требованиям. Модель готова к коммерческому и некоммерческому использованию; применяются условия Modified MIT license Mistral, а для развёртывания и настройки рекомендуется связаться с Mistral.

Neuron-4B-Instruct — мультиязычная языковая модель с настройкой на выполнение инструкций, разработанная Neura Tech AI на основе Qwen/Qwen3-4B-Instruct-2507. Это плотная авторегрессионная модель семейства Qwen3 с архитектурой Transformer Decoder и примерно 3,7 млрд параметров. Модель предназначена для диалогов и работы в роли ИИ-ассистента: она помогает с программированием, рассуждениями, математическими задачами, творческим письмом, переводом и вызовом инструментов. Поддерживает контекст до 262 144 токенов и множество языков, включая английский, русский, китайский, хинди, японский, корейский, европейские и южноазиатские языки. Модель принимает текст и генерирует текст. Карточка приводит сравнительные результаты на тестах знаний, но они не гарантируют качество в конкретных задачах; ответы могут содержать ошибки. Распространяется по лицензии Apache-2.0.

NVIDIA Nemotron-3-Super-120B-A12B-NVFP4 — большая языковая модель NVIDIA для диалогов, рассуждений и создания агентных систем. Она содержит 120 млрд параметров, из которых при генерации активны 12 млрд, и использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2, Mixture-of-Experts и Attention, а также Multi-Token Prediction для ускорения генерации. Модель обучена с применением квантования NVFP4 и рассчитана на контекст до 1 млн токенов. Модель предназначена для сложного следования инструкциям, длинноконтекстных задач, чат-ботов, RAG-систем и совместно работающих ИИ-агентов; среди примеров применения — автоматизация обработки IT-заявок и задачи с вызовом инструментов. Поддерживаются английский, французский, немецкий, итальянский, японский, испанский и китайский языки, а также сценарии работы с кодом. NVIDIA указывает, что модель готова к коммерческому использованию. В метаданных лицензия обозначена как other, поэтому конкретные условия следует проверять в лицензионных материалах репозитория.

Карточка модели Gensyn/Qwen2.5-7B-Instruct на Hugging Face совпадает с карточкой unsloth/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. unsloth/Qwen2.5-7B-Instruct — инструктивная языковая модель семейства Qwen2.5, опубликованная Unsloth как производная от Qwen/Qwen2.5-7B-Instruct. Это плотная авторегрессионная модель с 7,1 млрд параметров; карточка указывает архитектуру Qwen2 и поддержку Transformers, а README описывает 28 слоёв, RoPE, SwiGLU, RMSNorm и механизм группового внимания GQA. Метаданные указывают контекст 32 768 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Она подходит для ответов на вопросы, написания и анализа кода, математических задач, создания длинных текстов и выдачи структурированных ответов, включая JSON. Поддерживает английский, русский, китайский и ряд других языков; заявлена поддержка более 29 языков. Метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст. README описывает возможность работы с более длинным контекстом через YaRN, но отмечает, что статическое масштабирование может ухудшить качество или производительность на коротких запросах. Модель выпущена под лицензией Apache-2.0.

QuantFactory/Qwen2.5-7B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Qwen2.5-7B-Instruct, созданная QuantFactory на основе модели Qwen от Alibaba Cloud с использованием llama.cpp. Модель предназначена для диалоговых сценариев, генерации текста, следования инструкциям, работы со структурированными данными и JSON, а также для задач программирования и математики. Это авторегрессионная causal language model с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещений QKV в механизме внимания. Модель содержит 7,61 млрд параметров, 28 слоёв и использует Grouped Query Attention с 28 головами Q и 4 головами KV. Заявлена поддержка контекста до 131 072 токенов и генерации до 8192 токенов; для контекстов свыше 32 768 токенов требуется настройка YaRN. Поддерживается более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, японский, корейский и другие. Сильные стороны модели — улучшенное следование инструкциям, генерация длинных текстов, понимание таблиц и других структурированных данных, формирование JSON, а также развитые навыки в кодировании и математике. К ограничениям относятся возможное снижение качества или производительности на коротких текстах при статическом масштабировании YaRN и необходимость учитывать особенности используемого GGUF-квантизированного варианта. Модель распространяется по лицензии Apache-2.0.

Qwen2-72B-Instruct — большая языковая модель с настройкой для следования инструкциям и диалогов, разработанная командой Qwen. Это плотная decoder-only модель на архитектуре Transformer Qwen2 с 71,5 млрд параметров; в ней используются активация SwiGLU, смещение в проекциях внимания QKV и групповое внимание запросов. Модель принимает текст и формирует текстовые ответы, поддерживает чатовый режим и несколько естественных языков, а также код. Модель предназначена для диалоговых помощников, генерации и понимания текста, ответов на вопросы, рассуждений, математических задач и программирования. Метаданные указывают контекст 32 768 токенов; в README описано расширение до 131 072 токенов с помощью YARN, которое требует соответствующей настройки. Для длинных контекстов авторы отмечают возможное снижение качества на коротких запросах при статическом масштабировании YARN. Модель является дообученной версией Qwen/Qwen2-72B. В репозитории указана лицензия other, поэтому конкретные условия использования следует сверять с файлами лицензии модели. Для запуска рекомендуется Transformers версии 4.37.0 или новее; README также рекомендует vLLM для развёртывания.