I.11Классификация, ранжирование и сопоставление

Yi 34B 200K DARE Merge v5 - GGUF — квантизированная версия языковой модели Yi, созданная на основе модели brucethemoose/Yi-34B-200K-DARE-merge-v5. Квантизацию и публикацию GGUF-файлов выполнил TheBloke. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые графические интерфейсы и библиотеки. Модель имеет архитектуру Yi и размер 34 млрд параметров. Указан английский язык; поддерживаемая модальность — текст. Вариант поставляется в формате GGUFv2 с несколькими уровнями квантизации от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством генерации. Для взаимодействия рекомендуется шаблон Orca-Vicuna с секциями SYSTEM, USER и ASSISTANT. README не указывает точный размер контекстного окна, поэтому заявленные 200K в названии нельзя однозначно трактовать как подтверждённый контекст модели. Сильные стороны модели — большой размер, наличие различных уровней квантизации и поддержка локального запуска на CPU и GPU через llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio и другие совместимые инструменты. Ограничениями являются потребность в значительных вычислительных ресурсах для крупных вариантов квантизации, возможная потеря качества при более агрессивном сжатии и отсутствие подробных данных о качестве, обучающих данных и целевых бенчмарках. Лицензия обозначена как yi-license; условия следует уточнять в лицензии исходной модели Yi.

T145/ZEUS-8B-V9 — плотная языковая модель семейства Llama, созданная T145 с помощью слияния предобученных моделей методом DARE TIES. В качестве базовой использована T145/KRONOS-8B-V5; также в слияние вошли Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2, akjindal53244/Llama-3.1-Storm-8B и arcee-ai/Llama-3.1-SuperNova-Lite. Модель содержит 7,5 млрд параметров и рассчитана на контекст до 131 072 токенов. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы и работу через интерфейс вызова инструментов. В карточке приведены результаты Open LLM Leaderboard, в том числе 55,51% на IFEval и 31,85% на BBH; этих показателей недостаточно, чтобы делать выводы о качестве в конкретных прикладных задачах. Модель распространяется в формате safetensors; лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.

Qwen2.5-72B-Instruct-GPTQ-Int8 — инструкционно дообученная крупная языковая модель семейства Qwen2.5, разработанная командой Qwen, связанной с Alibaba Cloud. Это каузальная текстовая модель для диалоговых ассистентов, генерации и обработки текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель содержит 72,7 млрд параметров, из которых 70 млрд не относятся к эмбеддингам, и построена на архитектуре Transformer с RoPE, SwiGLU, RMSNorm, смещениями QKV в механизме внимания и GQA. Она имеет 80 слоёв, 64 головы внимания для Q и 8 для KV. Модель поддерживает более 29 языков, включая английский, китайский, французский, испанский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Заявленная длина контекста составляет до 131 072 токенов, а максимальная длина генерации — 8192 токена; для контекстов свыше 32 768 токенов требуется настройка YaRN. К сильным сторонам относятся улучшенные способности к программированию и математике, следование инструкциям, генерация длинных текстов, понимание таблиц и устойчивость к разнообразным системным промптам. GPTQ-квантизация до 8 бит снижает требования к памяти по сравнению с исходной версией, но модель остаётся ресурсоёмкой из-за большого размера. При использовании статического YaRN производительность на коротких запросах может снижаться. Для работы рекомендуется актуальная версия Transformers; лицензия указана как Qwen с отдельным файлом условий.

Qwen2.5-14B-Instruct-AWQ — инструкционная причинно-следственная языковая модель семейства Qwen, разработанная командой Qwen. Модель предназначена для диалоговых систем, генерации и обработки текста, следования инструкциям, работы с кодом и математическими задачами, а также создания структурированных ответов, включая JSON. Модель содержит около 14,7 млрд параметров, из них 13,1 млрд без учёта эмбеддингов, и включает 48 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm и смещения в QKV-проекциях внимания; применяется GQA с 40 головами для Q и 8 для KV. Это AWQ-квантизированная версия с точностью 4 бит, предназначенная для более экономичного развёртывания. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. Полная заявленная длина контекста составляет до 131 072 токенов, а максимальная длина генерации — 8192 токена. В текущей конфигурации доступно 32 768 токенов; для более длинных входов требуется настройка YaRN, причём статическое масштабирование может ухудшать качество или производительность на коротких текстах. Сильные стороны модели — улучшенное следование инструкциям, работа с длинными текстами, структурированными данными, программированием и математикой. Ограничения включают возможные потери качества из-за 4-битной квантизации и повышенные требования к настройке при использовании длинного контекста. Модель распространяется по лицензии Apache 2.0.

Qwen2.5-32B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 32 млрд параметров для диалога и генерации текста; поддерживает интерфейс вызова инструментов. В архитектуре используются RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для следования инструкциям, написания длинных ответов, работы с таблицами и другими структурированными данными, а также генерации структурированного вывода, включая JSON. Она также подходит для задач программирования и математики. В README заявлена поддержка более 29 языков, включая русский и английский. Метаданные указывают контекст в 32 768 токенов; для этой версии README рекомендует конфигурацию до 131 072 токенов с YaRN для длинных входов, а генерацию — до 8 192 токенов. Модель распространяется в формате safetensors и работает через Transformers. Лицензия — Apache-2.0. Для контекстов длиннее 32 768 токенов требуется настройка YaRN; статическое масштабирование YaRN в vLLM может ухудшать производительность на коротких текстах.

unsloth/Qwen2.5-72B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Qwen2.5-72B-Instruct, опубликованная Unsloth. Модель предназначена для диалоговых ассистентов, генерации и обработки текста, следования инструкциям, работы с длинными документами, структурированными данными и форматированными ответами, включая JSON. Она также ориентирована на задачи программирования и математики. Это каузальная языковая модель с архитектурой на базе Transformers, RoPE, SwiGLU, RMSNorm и смещениями в QKV-слоях внимания. Модель содержит 72,7 млрд параметров, из них 70,0 млрд без учёта embedding-слоёв, 80 слоёв и использует Grouped-Query Attention с 64 головами Q и 8 головами KV. Поддерживается контекст до 131 072 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся улучшенные способности к программированию и математике, следованию инструкциям, генерации длинных текстов, обработке структурированных данных и устойчивости к разнообразным системным промптам. 4-битное представление снижает требования к памяти по сравнению с полноразмерной моделью, но README не содержит точных требований к оборудованию, результатов оценки или подробностей о качестве квантования. Модель текстовая и не предназначена для обработки изображений или других мультимодальных входов. Лицензия указана как other, без дополнительных условий в представленном README.

Qwen3-30B-A3B-Instruct-2507-FP8 — причинная языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-версия модели Qwen3-30B-A3B-Instruct-2507, предназначенная для генерации текста в режиме без скрытого рассуждения и без блоков <think></think>. Модель ориентирована на следование инструкциям, логическое рассуждение, понимание текста, математику, естественные науки, программирование, использование инструментов, открытые и субъективные текстовые задачи, а также работу с длинным контекстом и несколькими языками. Она поддерживает контекст длиной до 262 144 токенов. Архитектура — Mixture of Experts: 30,5 млрд параметров всего, из них 3,3 млрд активируются на запрос; модель содержит 48 слоёв, 128 экспертов и активирует 8 экспертов, использует GQA с 32 головами Q и 4 головами KV. К сильным сторонам относятся улучшенные instruction following, качество генерации, математические и кодовые способности, расширенное покрытие редких знаний на разных языках и повышенное качество работы с длинным контекстом. Ограничение модели — поддержка только нерassуждающего режима, поэтому она не предназначена для генерации явных цепочек рассуждений в формате <think></think>. Для использования рекомендуются актуальные версии transformers, а для развёртывания — SGLang или vLLM. Модель распространяется по лицензии Apache-2.0.

gemma-4-31B-it-FP8 — FP8-квантованный вариант instruction-tuned модели google/gemma-4-31B-it из семейства Gemma 4, разработанного Google DeepMind и опубликованного prithivMLmods. Модель предназначена для генерации текста, рассуждений, программирования, математических задач, многоязычных сценариев и мультимодального анализа изображений, включая работу с документами, PDF, интерфейсами, диаграммами и распознаванием текста. Она также ориентирована на агентские приложения, function calling, извлечение структурированных данных и планирование. Модель имеет плотную архитектуру примерно на 31 млрд параметров, 60 слоёв, гибридное внимание с локальными скользящими окнами и глобальным вниманием, а также контекст до 256K токенов. Она принимает текст и изображения с переменным соотношением сторон и разрешением и генерирует текст; заявлена поддержка более 140 языков. Квантование FP8_DYNAMIC с форматом F8_E4M3 снижает требования к памяти и повышает эффективность вывода по сравнению с исходной версией, сохраняя основную функциональность базовой модели. Предусмотрена совместимость с Transformers, vLLM и llama.cpp, включая использование на NVIDIA и AMD GPU. Сильными сторонами являются большой контекст, мультимодальность, возможности рассуждения, кодирования и автономных агентов, а также возможность локального развёртывания. Ограничения включают высокие требования к вычислительным ресурсам для модели такого размера и потенциальные компромиссы качества, связанные с FP8-квантованием; конкретные требования к памяти и результаты независимых тестов в карточке не указаны. Модель распространяется по лицензии Apache 2.0.

Mistral-Medium-3.5-128B-NVFP4 — квантизированная в формате NVFP4 версия Mistral Medium 3.5 128B, разработанная Mistral AI и оптимизированная NVIDIA с помощью Model Optimizer v0.44.0. NVIDIA не является разработчиком исходной модели. Это плотная Transformer-модель Mistral со 128 млрд параметров и визуальным энкодером, предназначенная для генерации текста, диалогов, программирования, сложных рассуждений, работы с изображениями и агентных сценариев. Модель принимает текст и изображения RGB с переменными размерами и соотношениями сторон, поддерживает контекст до 262 144 токенов и генерирует текст. Заявлена поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. Доступны вызов функций, JSON-вывод, настраиваемая интенсивность рассуждений и следование системным инструкциям. Модель рассчитана на использование с vLLM на NVIDIA GPU архитектуры Blackwell и в Linux. Сильные стороны — единые веса для задач следования инструкциям, рассуждений и кодирования, длинный контекст, мультимодальное понимание изображений и поддержка структурированного и агентного взаимодействия. Ограничения включают отсутствие раскрытых сведений о тренировочных данных и необходимость дополнительного тестирования на данных конкретного применения для оценки качества, безопасности и соответствия требованиям. Модель готова к коммерческому и некоммерческому использованию; применяются условия Modified MIT license Mistral, а для развёртывания и настройки рекомендуется связаться с Mistral.

Qwen3-14B-GGUF — квантизированная версия причинной языковой модели Qwen3-14B, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов и агентных возможностей. Модель содержит 14,8 млрд параметров, из которых 13,2 млрд приходятся на параметры без учёта эмбеддингов, и имеет 40 слоёв. Используется Grouped-Query Attention: 40 голов для запросов и 8 для ключей и значений. Поддерживаются режимы с рассуждением и без рассуждения, между которыми можно переключаться в рамках одной модели. Заявлена поддержка более 100 языков и диалектов. Нативная длина контекста составляет 32 768 токенов; с использованием YaRN проверена работа с контекстом до 131 072 токенов. Доступны варианты квантования q4_K_M, q5_0, q5_K_M, q6_K и q8_0 в формате GGUF. Сильные стороны модели — сочетание рассуждений и эффективного общего диалога, развитое следование инструкциям, мультиязычность и интеграция с инструментами. Формат GGUF ориентирован на локальный запуск через llama.cpp и Ollama. Ограничения связаны с возможным снижением качества из-за квантования; при использовании статического YaRN производительность на коротких текстах может ухудшаться, поэтому его рекомендуется включать только для длинного контекста. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-397B-A17B-FP8 — мультимодальная модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия постобученной модели Qwen3.5-397B-A17B в формате Hugging Face Transformers, предназначенная для локального и серверного вывода с использованием Transformers, vLLM, SGLang, KTransformers и совместимых инструментов. Модель сочетает языковую модель с vision encoder и поддерживает обработку текста и изображений. Она использует гибридную архитектуру Gated Delta Networks и разреженной Mixture-of-Experts: всего 397 млрд параметров, из которых активируется 17 млрд; предусмотрено 512 экспертов, из них для токена выбираются 10 маршрутизируемых и 1 общий. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Модель ориентирована на рассуждения, программирование, визуальное понимание, агентные сценарии и другие задачи общего назначения. Ключевое преимущество версии FP8 — снижение требований к ресурсам при сохранении показателей, близких к исходной модели; используется мелкозернистое FP8-квантизирование с размером блока 128. Ограничениями являются значительные требования к вычислительной инфраструктуре из-за общего размера модели, а также необходимость проверять фактическую совместимость и производительность конкретного стека инференса. Модель распространяется по лицензии Apache-2.0.

Cohere и Cohere Labs разработали Command A — авторегрессионную языковую модель на базе оптимизированного Transformer с 111 млрд параметров. Она принимает и генерирует текст, поддерживает диалог, вызов внешних инструментов и работу в сценариях RAG с фрагментами документов и цитированием источников. Модель ориентирована на корпоративные задачи, включая многоязычные сценарии и агентные приложения. Модель обучена с учителем и дополнительно настроена с помощью обучения на предпочтениях. В архитектуре чередуются слои со скользящим окном внимания размером 4096 токенов и слой с глобальным вниманием. Заявленная длина контекста — 256 тыс. токенов, хотя конфигурация Hugging Face по умолчанию ограничивает её 128 тыс. Поддерживаются 23 языка, в том числе русский и английский. Command A подходит для диалоговых ассистентов, ответов по документам, извлечения информации, суммаризации, перевода и категоризации. Для запуска требуется значительная вычислительная инфраструктура, несмотря на заявление разработчиков о возможности развёртывания на двух GPU; для работы с Transformers нужны изменения из исходного репозитория. Лицензия CC-BY-NC-4.0 предусматривает некоммерческое использование и требует соблюдения Acceptable Use Policy Cohere Labs.

unsloth/Qwen3-30B-A3B-GGUF — GGUF-версия модели Qwen3-30B-A3B, разработанной командой Qwen компании Alibaba Cloud и подготовленной Unsloth. Это причинная языковая модель архитектуры Mixture-of-Experts (MoE), предназначенная для диалогов, следования инструкциям, генерации текста и кода, математического и логического рассуждения, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с использованием внешних инструментов. Модель поддерживает переключение между режимами рассуждения и быстрого ответа с помощью инструкций /think и /no_think. Она обучалась на этапах предварительного обучения и постобучения, содержит 30,5 млрд параметров, из которых активируется 3,3 млрд, 48 слоёв, 128 экспертов и 8 активируемых экспертов. Использует GQA с 32 головами для Q и 4 для KV. Нативная длина контекста составляет 32 768 токенов, а с YaRN заявлена поддержка до 131 072 токенов. Модель ориентирована более чем на 100 языков и диалектов; в метаданных README отдельно указан английский язык. К сильным сторонам относятся сочетание качества рассуждений и экономичности MoE-архитектуры, поддержка многоязычного следования инструкциям, широкий спектр прикладных задач и возможность запуска в GGUF-совместимых инструментах, включая llama.cpp и Ollama. Ограничения включают зависимость характеристик от конкретной GGUF-квантизации и программного окружения; точные параметры квантизации, требования к памяти и результаты бенчмарков в предоставленном README не указаны. Лицензия — Apache-2.0.

Qwen3-4B-GGUF — квантизированная версия причинной языковой модели Qwen3-4B, разработанная командой Qwen компании Alibaba Cloud. Модель предназначена для генерации текста, диалогов, следования инструкциям, творческого письма, ролевого взаимодействия, программирования, математического и логического рассуждения, перевода, а также сценариев с использованием внешних инструментов и агентных возможностей. Модель содержит 4,0 млрд параметров, из которых 3,6 млрд не относятся к эмбеддингам, и включает 36 слоёв. Она использует Grouped-Query Attention с 32 головами запросов и 8 головами ключей и значений. Поддерживаются режимы thinking для сложных задач рассуждения и non-thinking для более быстрых ответов; между ними можно переключаться в рамках одного диалога. Модель поддерживает более 100 языков и диалектов. Нативная длина контекста составляет 32 768 токенов, а с масштабированием YaRN заявлена поддержка до 131 072 токенов. Основные преимущества — сочетание рассуждения, диалоговых и агентных возможностей, мультиязычность и возможность локального запуска через llama.cpp или Ollama. Доступны варианты квантизации q4_K_M, q5_0, q5_K_M, q6_K и q8_0, что позволяет выбирать компромисс между качеством, размером и скоростью. При использовании YaRN производительность на коротких текстах может снижаться, поэтому масштабирование рекомендуется включать только для длинного контекста; для thinking-режима также не рекомендуется жадное декодирование из-за риска деградации качества и повторов. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-122B-A10B-FP8 — мультимодальная модель семейства Qwen3.5, разработанная командой Qwen. Это постобученная версия с причинной языковой моделью и vision encoder, предназначенная для работы с текстом и изображениями, включая рассуждение, программирование, визуальное понимание и агентские сценарии. Модель содержит 122 млрд параметров, из которых 10 млрд активируются при обработке запроса. Она использует гибридную архитектуру Gated Delta Networks и разреженную Mixture-of-Experts с 256 экспертами, из которых активируются 8 маршрутизируемых и 1 общий эксперт. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Данная версия содержит fine-grained FP8-квантизированные веса с размером блока 128; производительность заявлена близкой к исходной модели. Сильными сторонами являются сочетание мультимодальности, большого контекста, разреженной архитектуры для более эффективного вывода и широкого языкового охвата. Ограничения, зависящие от конкретной задачи, аппаратной конфигурации и используемого программного стека, в README не раскрыты; FP8-формат также требует совместимой поддержки. Модель распространяется по лицензии Apache-2.0 и совместима с Hugging Face Transformers, vLLM, SGLang и KTransformers.

Qwen3.5-35B-A3B-GPTQ-Int4 — мультимодальная причинная языковая модель с vision encoder, разработанная командой Qwen. Это GPTQ-квантованная до 4 бит версия постобученной модели Qwen3.5-35B-A3B, предназначенная для локального и серверного инференса в Hugging Face Transformers, vLLM, SGLang, KTransformers и совместимых инструментах. Модель ориентирована на генерацию и понимание текста и изображений, рассуждение, программирование, визуальное понимание и агентские сценарии. Она поддерживает 201 язык и диалект. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts: всего 35 млрд параметров, из которых активируется около 3 млрд; используется 256 экспертов, 8 маршрутизируемых и 1 общий активный эксперт. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Ключевые преимущества — мультимодальность, высокая вычислительная эффективность благодаря разреженной архитектуре и 4-битному квантованию, а также широкий языковой охват и поддержка длинного контекста. Ограничения включают возможные потери качества и точности, характерные для низкобитного квантования, а также зависимость производительности от используемого движка и аппаратного обеспечения. Модель распространяется по лицензии Apache-2.0.

JunHowie/Qwen3-8B-GPTQ-Int8 — это квантизированная версия языковой модели Qwen3-8B, основанной на семействе Qwen, разработанном командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, многоязычного общения, перевода и сценариев с интеграцией внешних инструментов. Она поддерживает более 100 языков и диалектов, а также переключение между режимами рассуждения и обычной генерации. В основе лежит каузальная языковая модель с 8,2 млрд параметров, 36 слоями и архитектурой Grouped-Query Attention: 32 головы для запросов и 8 для ключей и значений. Нативная длина контекста составляет 32 768 токенов, с использованием YaRN заявлена поддержка до 131 072 токенов. Эта версия сжата до 8-битного представления с размером группы 128; настройка desc_act=False повышает эффективность по скорости генерации токенов по сравнению с более ранними квантизированными вариантами. Основные ограничения связаны с потерями, возможными при квантизации, а также с необходимостью совместимого программного окружения: в README рекомендован vLLM версии 0.9.2 или новее. Модель распространяется по лицензии Apache-2.0.

cyankiwi/gemma-4-26B-A4B-it-AWQ-8bit — инструкцияно дообученная мультимодальная модель семейства Gemma 4, разработанная Google DeepMind и представленная в формате AWQ 8bit. Она основана на Google Gemma 4 26B A4B и использует архитектуру Mixture-of-Experts с 25,2 млрд параметров, из которых около 3,8 млрд активируются при обработке запроса. Модель предназначена для генерации текста, программирования, рассуждений, мультимодального анализа изображений и построения агентных сценариев с вызовом функций. Модель принимает текст и изображения и генерирует текст. Она поддерживает более 140 языков, контекст до 256 тысяч токенов и использует гибридный механизм внимания с чередованием локального sliding window attention и глобального внимания. В конфигурации MoE предусмотрены 128 экспертов, 8 активных экспертов и один общий эксперт; размер скользящего окна составляет 1024 токена, словарь — 262 тысячи токенов. Поддерживаются настраиваемые режимы рассуждений и системные сообщения. Ключевое преимущество — сочетание возможностей модели класса 26B с вычислительной нагрузкой, близкой к модели примерно на 4 млрд активных параметров, что делает инференс быстрее плотной модели Gemma 4 31B. Большой контекст и поддержка изображений подходят для анализа длинных документов, сложных задач рассуждения, программного кода и визуальных данных. Ограничения включают необходимость совместимого оборудования и программного обеспечения для AWQ 8bit, а также потенциальные ошибки и ограничения, свойственные генеративным мультимодальным моделям; конкретные показатели производительности в предоставленном фрагменте README приведены не полностью. Лицензия — Apache 2.0.

nvidia/Gemma-4-31B-IT-NVFP4 — мультимодальная модель для генерации текста, разработанная Google DeepMind на базе Gemma 4 31B IT и квантизированная NVIDIA с помощью Model Optimizer. NVIDIA не является разработчиком исходной модели. Модель предназначена для чат-ботов и диалоговых систем, суммаризации, извлечения данных из изображений, рассуждений, программирования, мультимодального анализа, function calling, исследовательских и образовательных сценариев. Модель построена на архитектуре Transformer Gemma 4 и содержит около 30,7 млрд параметров при размере словаря 262 144 токена. Она принимает текст, изображения и видео, включая видео в форматах MP4 и WebM продолжительностью до 60 секунд с частотой один кадр в секунду, а генерирует текст. Поддерживаются переменные соотношения сторон и разрешения изображений, настраиваемые бюджеты визуальных токенов от 70 до 1120, контекст до 256 тысяч токенов и более 140 языков. Архитектура использует гибридное внимание с локальными sliding-window и глобальными слоями, едиными Keys и Values в глобальных слоях и Proportional RoPE для работы с длинным контекстом. NVFP4-квантизация весов и активаций рассчитана на инференс через vLLM на NVIDIA Blackwell и Linux. По приведённым результатам NVFP4 сохраняет близкие к BF16 показатели на GPQA Diamond, AIME 2025, MMLU Pro, LiveCodeBench и Scicode, однако точные характеристики зависят от оборудования и сценария использования. Модель версии 1.0 была квантизирована с помощью nvidia-modelopt 0.42.0; для калибровки использовался англоязычный датасет CNN/DailyMail. Указана лицензия Apache License 2.0 с условиями Gemma. Для запуска заявлена интеграция с vLLM и тестирование на NVIDIA Hopper H100.

unsloth/gemma-4-31B-it-qat-w4a16 — инструктивно дообученная мультимодальная модель семейства Gemma 4, разработанная Google DeepMind. Это вариант с Quantization-Aware Training (QAT), представленный в формате compressed-tensors w4a16 для оптимизированного инференса через vLLM. Модель принимает текст и изображения и генерирует текст; поддерживает более 140 языков и контекст до 256K токенов. Аудиовход для версии 31B не заявлен. Модель предназначена для генерации текста, программирования, рассуждений, мультимодального анализа, агентских сценариев и вызова функций. Она использует плотную (Dense) архитектуру с 30,7 млрд параметров, 60 слоями, размером скользящего окна внимания 1024 токена и словарём из 262 тысяч токенов. Гибридный механизм внимания сочетает локальное скользящее и глобальное внимание, что помогает снижать затраты памяти при работе с длинным контекстом. Поддерживаются настраиваемые режимы рассуждений и системные промпты. Ключевое преимущество версии QAT — существенно сниженные требования к памяти при сохранении качества, близкого к bfloat16, а формат w4a16 ориентирован на эффективное развёртывание. Ограничение модели — отсутствие заявленной поддержки аудио, а также необходимость совместимой инфраструктуры для работы с форматом compressed-tensors и vLLM. Модель распространяется по лицензии Apache 2.0.

tencent/Hy3-FP8 — FP8-квантизированная версия Hy3, большой языковой модели с архитектурой Mixture-of-Experts, разработанной командой Tencent Hy. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев, офисных задач, финансового моделирования, frontend-разработки и создания игр. Она также ориентирована на работу с инструментами, структурированными форматами вывода и многошаговыми диалогами. Hy3 содержит 295 млрд параметров, из которых 21 млрд активируются при обработке запроса; дополнительно предусмотрен MTP-слой на 3,8 млрд параметров. Архитектура включает 80 основных слоёв и один MTP-слой, 192 эксперта с активацией 8 экспертов, GQA-внимание с 64 attention heads и 8 KV heads, hidden size 4096 и контекст длиной до 256K токенов. Модель демонстрирует сильные стороны в рассуждениях, длинном контексте, вызове инструментов, удержании сложных инструкций и снижении галлюцинаций, однако README не указывает поддерживаемые языки и не приводит подробностей о специфике FP8-реализации. Модель распространяется по лицензии Apache 2.0.

stelterlab/Mistral-Small-3.2-24B-Instruct-2506-FP8 — экспериментальная FP8 W8A8-квантизированная версия Mistral-Small-3.2-24B-Instruct-2506, разработанная stelterlab с использованием llm-compressor. Базовая модель создана Mistral AI. Формат FP8 предназначен для запуска модели с меньшими требованиями к памяти и вычислительным ресурсам при сохранении основных возможностей исходной модели. Модель рассчитана на выполнение инструкций, диалоговые сценарии, генерацию текста, решение задач STEM, программирование, работу с изображениями и вызов функций. Она поддерживает текстово-изобразительный ввод и заявлена для английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. По сравнению с версией 3.1 улучшены следование точным инструкциям, устойчивость к бесконечным повторениям и function calling; для сервинга рекомендуется vLLM. К ограничениям относятся экспериментальный статус FP8-квантизации и отсутствие в предоставленных данных сведений о точном размере контекста и детальной архитектуре. Качество может немного отличаться от полной версии модели, а по отдельным vision-бенчмаркам зафиксировано небольшое снижение результатов. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-GGUF — квантизированная версия языковой модели Qwen3-4B, разработанная командой Qwen компании Alibaba Cloud. Это авторегрессионная causal language model для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Модель поддерживает более 100 языков и диалектов, включая мультиязычное следование инструкциям и перевод. Модель содержит 4,0 млрд параметров, из которых 3,6 млрд не относятся к embedding, и включает 36 слоёв. Используется Grouped-Query Attention с 32 головами для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов; с применением RoPE-масштабирования YaRN заявлена поддержка до 131 072 токенов. Доступны варианты квантизации q4_K_M, q5_0, q5_K_M, q6_K и q8_0 в формате GGUF, ориентированные на локальный запуск, в частности через llama.cpp и Ollama. Ключевая особенность Qwen3 — переключение между режимами thinking для сложных задач рассуждения и non-thinking для более эффективного общего диалога в рамках одной модели. Модель также заявлена как пригодная для агентских задач и интеграции с внешними инструментами. Ограничения включают возможное снижение качества на коротких текстах при использовании статического YaRN, а для квантизированных вариантов рекомендуется настраивать presence penalty для уменьшения повторов. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-122B-A10B — мультимодальная причинная языковая модель с визуальным энкодером, разработанная командой Qwen. Репозиторий содержит постобученные веса и конфигурацию в формате Transformers; модель сочетает Gated Delta Networks с разреженной архитектурой Mixture-of-Experts. Всего в модели 122 млрд параметров, из которых при генерации активируются 10 млрд; предусмотрено 256 экспертов, 8 маршрутизируемых и один общий активируются для каждого шага. Модель предназначена для диалога и решения задач по тексту и изображениям, включая рассуждения, программирование, понимание визуального содержимого и работу с инструментами. README также описывает обработку видео и расширенный контекст. Нативное окно контекста — 262 144 токена, с возможностью расширения до 1 010 000. Заявлена поддержка 201 языка и диалекта; точный перечень языков в предоставленной карточке опущен. Среди сильных сторон — сочетание мультимодального понимания, инструментального взаимодействия и разреженной архитектуры, рассчитанной на эффективный инференс. Для запуска требуются совместимые версии Transformers или специализированные движки, например vLLM, SGLang или KTransformers; производительность и расход памяти зависят от инфраструктуры, а README предупреждает о риске нехватки памяти при большом контексте. Лицензия — Apache-2.0.

Qwen3.5-35B-A3B-FP8 — мультимодальная причинная языковая модель с vision-энкодером из семейства Qwen3.5, разработанная командой Qwen. Представленная версия содержит FP8-квантизированные веса и конфигурацию в формате Hugging Face Transformers и предназначена для локального или серверного вывода в Transformers, vLLM, SGLang, KTransformers и совместимых системах. Модель ориентирована на работу с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Она поддерживает 201 язык и диалект, имеет нативный контекст 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts: всего 35 млрд параметров, из которых активируются около 3 млрд; используется 256 экспертов, 8 маршрутизируемых и 1 общий эксперт. В модели 40 слоёв и скрытая размерность 2048. Ключевое преимущество версии FP8 — существенно более эффективный по памяти и вычислениям вывод при заявленной производительности, почти идентичной исходной модели. Ограничения включают необходимость совместимой инфраструктуры и ПО для FP8-инференса, а также то, что README не приводит подробных сведений о фактических требованиях к оборудованию, безопасности и результатах по отдельным тестам для данной квантизированной версии. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3.5-397B-A17B-AWQ-4bit — квантизированная 4-битная версия мультимодальной модели Qwen3.5-397B-A17B, разработанной командой Qwen. Модель представляет собой авторегрессионную языковую модель с vision-энкодером и предназначена для генерации и понимания текста, работы с изображениями, рассуждений, программирования, визуального анализа и агентских сценариев. Она доступна в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts. Общее число параметров составляет 397 млрд, из которых при обработке токена активируется 17 млрд; используется 512 экспертов, 10 маршрутизируемых и один общий эксперт. Нативная длина контекста — 262 144 токена, с возможностью расширения до 1 010 000 токенов. Модель поддерживает 201 язык и диалект, а мультимодальная архитектура ориентирована на совместную обработку текста и визуальных данных. К сильным сторонам относятся высокая эффективность разреженной архитектуры, большой контекст, широкое языковое покрытие и возможности мультимодального понимания. Ограничениями являются значительные требования к вычислительным ресурсам даже при 4-битной квантизации, а также возможные потери точности, связанные с квантизацией AWQ. Репозиторий распространяется по лицензии Apache-2.0.

Xing4.0-29B-A4B-GGUF — большая языковая модель серии Xing, разработанная China Telecom Artificial Intelligence Technology Co., Ltd. Это GGUF-представление модели Xing4.0-29B-A4B с квантованием смешанной точности IQ4_NL; размер файла составляет около 18 ГБ, что позволяет запускать модель на одной пользовательской видеокарте. Модель распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста, сложного рассуждения, программирования, инженерных задач, многошагового планирования, вызова инструментов и агентских сценариев. Она также подходит для дообучения под прикладные задачи, включая классификацию намерений, анализ таблиц, аудит договоров и ответы на вопросы по корпоративным знаниям. Заявлена совместимость с Transformers, vLLM, SGLang, KTransformers, LLaMA-Factory и MindFormers, а также с рядом агентских фреймворков. Архитектура включает MoE с 29 млрд общих параметров и 4 млрд активных параметров на токен, 40 слоёв, скрытый размер 3584, MLA-attention, 64 маршрутизируемых эксперта, 4 активных эксперта на токен и одного общего эксперта. Модель поддерживает контекст 256 тысяч токенов с возможностью расширения до 512 тысяч. Указана поддержка режима рассуждений, который можно включать или отключать при инференсе. README не сообщает полный список поддерживаемых языков и не описывает мультимодальные возможности, поэтому модель следует считать текстовой. Сильными сторонами являются большой контекст, высокая эффективность MoE при инференсе, ориентация на агентские и программные задачи, а также возможность локального запуска и доменной адаптации. Ограничения включают необходимость совместимого инференс-стека и значительный объём памяти; показатели бенчмарков приведены авторами README и могут зависеть от настроек оценки. Сведения о безопасности, фильтрации контента и конкретных языковых ограничениях не указаны.

unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Meta Llama 3.1 8B, подготовленная с использованием Unsloth. Модель разработана Meta и предназначена для генерации текста и кода, диалоговых сценариев, ответов на инструкции и других задач обработки текста. Она работает только с текстовыми данными на входе и выдаёт текст или код. Модель построена на авторегрессионной оптимизированной архитектуре Transformer, использует Grouped-Query Attention (GQA) и содержит около 8 млрд параметров. Заявленная длина контекста составляет 128 тысяч токенов. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Instruction-тюнинг выполнен с применением supervised fine-tuning и reinforcement learning with human feedback для повышения полезности и безопасности ответов. 4-битное представление снижает требования к памяти и может быть удобно для локального запуска и инференса на доступном оборудовании, однако потенциально ограничивает точность по сравнению с полноразмерными вариантами. Модель является статической и обучена на офлайн-данных; дата отсечения знаний — декабрь 2023 года. Использование регулируется пользовательской коммерческой лицензией Llama 3.1 Community License.

MaziyarPanahi/Meta-Llama-3.1-8B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Meta-Llama-3.1-8B-Instruct, разработанной Meta и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и кода, а также для многоязычного диалога и других сценариев, где требуется следование инструкциям. Формат GGUF поддерживается llama.cpp и рядом локальных приложений и библиотек, включая llama-cpp-python, LM Studio и text-generation-webui, что позволяет запускать модель локально с использованием CPU и GPU-ускорения. Модель использует авторегрессионную оптимизированную архитектуру Transformer с Grouped-Query Attention (GQA), содержит 8 миллиардов параметров и работает только с текстом на входе и выходе. Контекстное окно составляет 128 тысяч токенов. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки; модель также генерирует код. Базовая модель обучалась на более чем 15 триллионах токенов общедоступных онлайн-данных, а инструкционная версия дополнительно настраивалась с помощью supervised fine-tuning и RLHF для повышения полезности и безопасности. Ключевые преимущества этой версии — широкий контекст, многоязычность, поддержка диалоговых сценариев и возможность более экономичного локального запуска благодаря квантизации с вариантами от 2 до 8 бит. Ограничения включают текстовую модальность, статичность знаний с отсечкой декабря 2023 года и возможные компромиссы между размером квантизации, качеством и требованиями к ресурсам. Использование регулируется пользовательской коммерческой лицензией Llama 3.1 Community License.

Mistral-Small-3.1-24B-Instruct-2503-quantized.w4a16 — мультимодальная инструкционная модель, разработанная Red Hat совместно с Neural Magic на базе Mistral-Small-3.1-24B-Instruct-2503 от Mistral AI. Она принимает текст и изображения, а генерирует текст; архитектура указана как Mistral3ForConditionalGeneration. Модель предназначена для разговорных агентов с быстрым откликом, вызова функций с низкой задержкой, программирования, математического рассуждения, анализа длинных документов и визуального понимания. Также она подходит для локального развёртывания и тонкой настройки под специализированные предметные области, включая сценарии с чувствительными данными. Модель использует INT4-квантизацию весов линейных операторов в трансформерных блоках. Применяется симметричная поканальная по группам схема с размером группы 128 и алгоритмом GPTQ, реализованным в llm-compressor. По сравнению с 16-битным представлением это примерно на 75% снижает объём модели на диске и требования к памяти GPU, что является её ключевым преимуществом для быстрого и локального инференса. В README не указаны точное число параметров базовой модели, максимальная длина контекста и полный перечень поддерживаемых возможностей по каждому языку. Заявлена поддержка языков, включая английский, французский, немецкий, испанский, итальянский, португальский, хинди, индонезийский, вьетнамский, арабский, китайский, японский, корейский, русский, украинский и другие. Модель выпущена 15 апреля 2025 года, проверена в RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4. Ограничения включают возможную потерю точности из-за квантизации и запрет использования с нарушением применимого законодательства, а также в языках, официально не поддерживаемых моделью. Распространяется по лицензии Apache-2.0.