I.11Классификация, ранжирование и сопоставление

Qwen2.5-32B-Instruct-GGUF — языковая instruction-tuned модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для генерации текста, диалоговых сценариев, следования инструкциям, программирования, математических задач, работы со структурированными данными и создания структурированных ответов, включая JSON. Модель поддерживает более 29 языков, в том числе английский, китайский, русский, французский, испанский, немецкий, японский и арабский. Модель представляет собой causal language model в формате GGUF с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещениями в Attention QKV. Она содержит 32,5 млрд параметров, из которых 31 млрд — непараметры эмбеддингов, 64 слоя и GQA с 40 головами для Q и 8 для KV. Полная длина контекста GGUF-версии составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Доступны варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. К сильным сторонам относятся улучшенные знания, возможности в программировании и математике, следование инструкциям, обработка длинных текстов, таблиц и структурированных форматов, а также устойчивость к разнообразным системным промптам. Ограничение GGUF-версии — контекст до 131 072 токенов требует YARN и на данный момент поддерживается только в vLLM; для такого сценария рекомендуется использовать не-GGUF версии. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-7B-Instruct-GPTQ-Int8 — инструкционная каузальная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалоговых приложений, генерации и обработки текста, следования инструкциям, работы с кодом и математическими задачами, создания длинных текстов и структурированных ответов, включая JSON. Модель поддерживает более 29 языков, в том числе английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Модель содержит 7,61 млрд параметров, из них 6,53 млрд — без учёта embedding, и включает 28 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV attention и Grouped Query Attention: 28 голов для Q и 4 для KV. Применена 8-битная GPTQ-квантизация, снижающая требования к памяти по сравнению с полноразмерной версией. Заявлена поддержка контекста до 131 072 токенов и генерации до 8192 токенов; для входов длиннее 32 768 токенов требуется настройка YaRN, которая может ухудшать производительность на коротких запросах. Для работы рекомендуется актуальная версия Transformers, а для развёртывания длинного контекста — vLLM. Сильные стороны модели — улучшенные возможности в кодировании, математике, следовании инструкциям, обработке таблиц и структурированных данных, а также многоязычность и поддержка длинного контекста. Ограничения включают возможное снижение качества или скорости из-за квантизации и потенциальное ухудшение производительности на коротких текстах при включённом статическом YaRN. Модель распространяется по лицензии Apache-2.0.

Qwen3-235B-A22B-FP8 — крупная причинно-следственная языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-квантованный вариант базовой модели Qwen3-235B-A22B, предназначенный для генерации текста, диалогов, следования инструкциям, сложного логического рассуждения, математики, программирования, творческого письма, перевода и агентских сценариев с интеграцией внешних инструментов. Модель использует архитектуру Mixture of Experts (MoE): 235 млрд параметров всего, из которых 22 млрд активируются при обработке каждого запроса; заявлены 94 слоя, 128 экспертов, 8 активируемых экспертов и Grouped Query Attention с 64 головами для Q и 4 для KV. Нативный контекст составляет 32 768 токенов, а с YaRN — до 131 072 токенов. Поддерживаются более 100 языков и диалектов. Модель умеет переключаться между режимами thinking для сложных рассуждений и non-thinking для более быстрых универсальных ответов. К сильным сторонам относятся развитые способности к рассуждению, многоязычность, следование инструкциям, многошаговый диалог и работа с инструментами. FP8-квантизация с блочным размером 128 может повысить эффективность инференса, однако модель остаётся очень ресурсоёмкой. Для распределённого инференса в transformers указаны известные проблемы с fine-grained FP8; при использовании нескольких устройств может потребоваться CUDA_LAUNCH_BLOCKING=1. Модель распространяется по лицензии Apache-2.0.

Qwen3-235B-A22B-Instruct-2507-FP8 — инструкционная causal language model семейства Qwen, разработанная командой Qwen. Это FP8-версия модели Qwen3-235B-A22B-Instruct-2507 для генерации текста и диалогового взаимодействия. Она предназначена для следования инструкциям, понимания текста, логического рассуждения, математики, научных задач, программирования, использования инструментов и открытых субъективных задач, включая генерацию качественного текста. Модель использует архитектуру Mixture-of-Experts: 235 млрд параметров всего, из которых 22 млрд активируются при обработке запроса; 234 млрд параметров относятся к неэмбеддинговым. Архитектура включает 94 слоя, 128 экспертов и 8 активируемых экспертов, а также Grouped Query Attention с 64 Q- и 4 KV-головами. Нативная длина контекста составляет 262 144 токена. Модель поддерживает несколько языков и улучшенное покрытие редких знаний, однако конкретный полный список языков в README не указан. Поддерживается только non-thinking mode: модель не формирует блоки <think></think>. Сильные стороны модели — улучшенные instruction following, рассуждение, кодинг, tool usage, многоязычность, субъективные и открытые задачи, а также обработка длинного контекста. Ограничения включают высокие требования к вычислительным ресурсам, обусловленные общим размером модели, и отсутствие режима thinking. Модель распространяется по лицензии Apache-2.0.

DeepSeek-V4-Pro — крупная языковая модель семейства DeepSeek-V4, разработанная DeepSeek AI. Это предварительная версия модели с архитектурой Mixture-of-Experts (MoE), предназначенная для работы с текстом, задачами рассуждения, программированием, обработкой больших документов и агентскими сценариями. Модель поддерживает контекст длиной до одного миллиона токенов. Модель содержит около 1,6 трлн параметров, из которых 49 млрд активируются при обработке отдельного токена. Она использует гибридную архитектуру внимания с механизмами Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections для повышения стабильности передачи сигналов. Обучение проводилось более чем на 32 трлн токенов с последующей донастройкой посредством SFT, reinforcement learning с GRPO и on-policy distillation. Доступна в смешанной точности FP4 и FP8: параметры MoE-экспертов используют FP4, а большинство остальных параметров — FP8. К сильным сторонам относятся эффективная работа с очень длинным контекстом, высокая ёмкость модели, развитые возможности в области знаний, программирования, рассуждений и агентских задач. По сравнению с DeepSeek-V3.2 в режиме контекста на один миллион токенов заявлено существенное снижение вычислительных затрат и объёма KV-кэша. Ограничения включают чрезвычайно большой общий размер модели и, как следствие, высокие требования к инфраструктуре; конкретные поддерживаемые языки и подробные системные требования в README не указаны. Модель распространяется по лицензии MIT.

google/gemma-4-31B-it-qat-q4_0-gguf — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google DeepMind. Она предназначена для генерации текста, рассуждений, программирования, агентских сценариев и анализа изображений с формированием текстового ответа. Модель поддерживает текстовые и графические входы, но аудио для версии 31B не заявлено. Модель использует плотную архитектуру с примерно 30,7 млрд параметров, 60 слоями и гибридным механизмом внимания, сочетающим локальное sliding window attention с глобальным вниманием. Контекстное окно составляет до 256K токенов, размер словаря — 262K. Семейство Gemma 4 заявляет мультиязычную поддержку более 140 языков, нативную поддержку system role, configurable thinking modes и function calling. Эта версия представлена в формате GGUF с Q4_0 и прошла Quantization-Aware Training, что ориентировано на снижение требований к памяти при сохранении качества, близкого к bfloat16. К сильным сторонам относятся большое контекстное окно, мультимодальное понимание текста и изображений, возможности рассуждения, кодирования и локального развёртывания в экосистемах, совместимых с GGUF. Ограничениями являются отсутствие заявленной поддержки аудио у 31B, а также потенциальные компромиссы качества и точности, характерные для квантованного формата. Модель распространяется по лицензии Apache 2.0.

cosmicproc/gemma-4-E4B-it-NVFP4 — квантизированный вариант instruction-tuned модели google/gemma-4-E4B-it из семейства Gemma 4, разработанного Google DeepMind. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального анализа изображений и аудио с выдачей текста. Она поддерживает более 140 языков, нативные системные промпты и вызов функций. Контекстное окно составляет до 128K токенов. Модель использует плотную архитектуру с 42 слоями, примерно 4,5 млрд эффективных параметров и около 8 млрд параметров с учётом Per-Layer Embeddings. Гибридный механизм внимания сочетает локальное скользящее окно размером 512 токенов с глобальным вниманием. Основные линейные слои трансформера квантизированы в формате NVFP4 W4A4 с помощью NVIDIA Model Optimizer, тогда как Per-Layer Embeddings, зрительный и аудиобашни, а также мультимодальный проектор сохранены в BF16 для поддержания качества. Ключевое преимущество версии — сниженные требования к памяти и потенциально высокая производительность при инференсе на GPU NVIDIA Blackwell. Для полноценного W4A4-инференса требуются GPU Blackwell, CUDA 12.9 или новее и vLLM 0.19.0 или новее. На GPU поколений Ada, Hopper и Ampere модель может загрузиться, но оптимизированные FP4-ядра активаций не будут использоваться, поэтому преимущество по скорости квантизации будет утрачено. Модель распространяется по лицензии Apache 2.0.

Mistral Small 4 119B A6B — мультимодальная модель общего назначения от Mistral AI, объединяющая возможности семейств Instruct, Reasoning и Devstral. Архитектура MoE содержит 128 экспертов, из которых активны 4; всего модель насчитывает 119 млрд параметров, а на токен активируется 6,5 млрд. Контекстное окно — 256 тысяч токенов. Репозиторий содержит веса safetensors в формате FP8. Модель принимает текст и изображения и выдаёт текст. Она предназначена для диалоговых ассистентов, рассуждений, программирования, агентных сценариев с вызовом функций, разбора документов и анализа изображений. Режим рассуждений можно настраивать для каждого запроса; заявлена поддержка множества языков, включая русский. Для инференса рекомендована библиотека vLLM. Лицензия Apache 2.0 разрешает коммерческое и некоммерческое использование. В метаданных не указаны базовая модель или отдельное дообучение; FP8 здесь обозначает точность представленных весов. Для запуска README рекомендует актуальный vLLM, а для Transformers — основную ветку проекта.

Qwen2.5-14B-Instruct-GPTQ-Int8 — инструкцияно дообученная каузальная языковая модель из серии Qwen2.5, разработанная командой Qwen. Модель предназначена для диалоговых приложений, генерации и обработки текста, следования инструкциям, работы с кодом и математическими задачами, понимания таблиц и других структурированных данных, а также формирования структурированных ответов, включая JSON. Поддерживает более 29 языков, среди которых английский, китайский, русский, французский, немецкий, испанский, японский, корейский и арабский. Модель содержит около 14,7 млрд параметров, из которых 13,1 млрд приходятся на параметры без учёта эмбеддингов, и включает 48 слоёв. Архитектура основана на transformers и использует RoPE, SwiGLU, RMSNorm и смещения в Attention QKV; применяется GQA с 40 головами для Q и 8 для KV. Это GPTQ-квантизированная 8-битная версия, что может снизить требования к памяти по сравнению с полноразмерной моделью. Заявленная максимальная длина контекста составляет 131 072 токена, а генерации — 8192 токена; для контекстов свыше 32 768 токенов требуется настройка YaRN, которая может ухудшать производительность на коротких текстах. Модель подходит для локального или серверного развёртывания через Transformers и совместимые инструменты, включая vLLM. Для работы рекомендуется актуальная версия Transformers. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-7B-Instruct-AWQ — инструкционная причинно-следственная языковая модель семейства Qwen, разработанная командой Qwen. Модель предназначена для диалоговых ассистентов, генерации и обработки текста, следования инструкциям, работы со структурированными данными и JSON, а также задач программирования и математики. Модель содержит около 7,61 млрд параметров, 28 слоёв и использует архитектуру Transformer с RoPE, SwiGLU, RMSNorm и смещениями в механизме внимания. Применяется AWQ-квантизация до 4 бит, что снижает требования к памяти при развёртывании. Поддерживаются более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. Заявлена длина контекста до 131 072 токенов и генерация до 8192 токенов, однако конфигурация репозитория рассчитана на 32 768 токенов; для более длинных входов требуется включение YaRN. Сильные стороны модели — улучшенное следование инструкциям, генерация длинных текстов, работа со структурированными данными, кодом и математикой, а также экономичность 4-битной версии. Использование статического YaRN в vLLM может снижать производительность на коротких текстах. Для работы требуется актуальная версия библиотеки transformers; версии ниже 4.37.0 не поддерживаются. Модель распространяется по лицензии Apache-2.0.

Qwen3-32B-GGUF — квантизированная версия крупной языковой модели Qwen3-32B, разработанной Alibaba Cloud. Это авторегрессионная causal language model для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с интеграцией внешних инструментов. Модель содержит 32,8 млрд параметров, из них 31,2 млрд не относятся к embedding, и включает 64 слоя. Используется Grouped-Query Attention: 64 головы для запросов и 8 для ключей и значений. Поддерживаются режимы thinking для сложного рассуждения и non-thinking для более быстрых общих диалогов; между ними можно переключаться в рамках одной модели. Заявлена поддержка более 100 языков и диалектов. Нативная длина контекста составляет 32 768 токенов, а с использованием YaRN модель протестирована на контекстах до 131 072 токенов. Основные преимущества — сочетание рассуждения, следования инструкциям, многоязычности и агентских возможностей, а также возможность выбирать баланс между качеством рассуждений и скоростью ответа. Модель распространяется в форматах GGUF с вариантами квантизации q4_K_M, q5_0, q5_K_M, q6_K и q8_0, что облегчает локальный запуск через llama.cpp или Ollama. Ограничения включают возможное снижение качества на коротких текстах при неподходящей статической настройке YaRN, риск повторов при неоптимальных параметрах генерации и потенциальное смешение языков при чрезмерном presence penalty. Лицензия — Apache-2.0.

Qwen3-8B-AWQ — квантизированная 4-битная версия причинной языковой модели Qwen3-8B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, ролевого взаимодействия, перевода и задач с использованием внешних инструментов. Она поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Модель содержит около 8,2 млрд параметров, из которых 6,95 млрд не относятся к embedding, имеет 36 слоёв и архитектуру GQA с 32 головами внимания для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Qwen3-8B-AWQ поддерживает переключение между режимом рассуждения и обычным режимом генерации в рамках одной модели: первый ориентирован на сложные задачи, второй — на более быстрые универсальные ответы. К сильным сторонам относятся рассуждение, следование инструкциям, многоязычность и интеграция с инструментами; к ограничениям — возможное увеличение времени и ресурсов генерации в режиме рассуждения, а также потенциальное снижение качества при использовании жадного декодирования в этом режиме. Модель распространяется по лицензии Apache-2.0. Для работы рекомендуется актуальная версия библиотеки transformers; README также указывает совместимость с SGLang и vLLM для развёртывания и создания OpenAI-совместимого API.

axana-labs/Qwen2.5-72B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Qwen2.5-72B-Instruct, разработанной командой Qwen/Alibaba Cloud и опубликованной в формате, совместимом с Transformers. Модель предназначена для диалоговых сценариев, следования инструкциям, генерации и анализа текста, работы со структурированными данными, создания JSON, программирования и математических задач. Модель относится к causal language models и использует архитектуру с RoPE, SwiGLU, RMSNorm, смещениями в QKV и Grouped Query Attention: 64 головы для Q и 8 для KV. Исходная модель содержит около 72,7 млрд параметров, из них 70 млрд без учёта embedding, имеет 80 слоёв, поддерживает контекст до 131 072 токенов и генерацию до 8 192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество этой версии — 4-битное представление параметров, которое должно снижать требования к памяти и упрощать локальный запуск по сравнению с полноразмерной моделью. Сильными сторонами исходной Qwen2.5 заявлены улучшенные знания, программирование, математика, следование инструкциям, обработка длинных текстов и устойчивость к различным системным промптам. README не содержит подробных сведений о точном формате квантования, аппаратных требованиях, результатах тестирования именно этой сборки или ограничениях качества, поэтому их нельзя определить по имеющимся данным. Лицензия указана как other; конкретные условия использования в README не приведены.

unsloth/Qwen2.5-7B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Qwen2.5-7B, подготовленная Unsloth на основе Qwen/Qwen2.5-7B-Instruct. Это каузальная текстовая модель для диалогов, следования инструкциям, генерации связных текстов, работы со структурированными данными и JSON, программирования и математических задач. Модель содержит 7,61 млрд параметров, из которых 6,53 млрд — без учёта эмбеддингов, и имеет 28 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm и GQA с 28 головами для Q и 4 для KV. Поддерживается контекст до 131 072 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество версии — 4-битное квантование, позволяющее снизить требования к памяти и упростить локальный запуск, однако квантование может влиять на точность по сравнению с полноточной моделью. Модель рассчитана на текстовые сценарии и не предназначена для обработки изображений или других модальностей. Лицензия — Apache-2.0.

Qwen3-30B-A3B-GGUF — квантизированное представление причинной языковой модели Qwen3-30B-A3B, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с интеграцией внешних инструментов. Она поддерживает более 100 языков и диалектов и допускает переключение между режимами рассуждения и обычного диалога в рамках одной модели. Модель построена по архитектуре mixture-of-experts (MoE): содержит 30,5 млрд параметров, из которых 3,3 млрд активируются при обработке запроса; число слоёв — 48, используется Grouped-Query Attention с 32 головами Q и 4 головами KV, 128 экспертами и 8 активируемыми экспертами. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN заявлена поддержка до 131 072 токенов. Доступны варианты квантизации q4_K_M, q5_0, q5_K_M, q6_K и q8_0 в формате GGUF. Сильные стороны модели — сочетание возможностей рассуждения и эффективного режима общего назначения, мультиязычность, следование инструкциям и поддержка агентских задач. Ограничения включают возможное снижение качества на коротких текстах при некорректно настроенном статическом YaRN, а также зависимость производительности и требований к ресурсам от выбранного уровня квантизации и конфигурации запуска. Модель распространяется по лицензии Apache-2.0.

JunHowie/Qwen3-30B-A3B-Instruct-2507-GPTQ-Int4 — это квантизированная версия Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Модель относится к причинным языковым моделям и предназначена для генерации текста, следования инструкциям, логического рассуждения, понимания текста, математики, научных задач, программирования, использования инструментов и многоязычных сценариев. Она работает только в non-thinking режиме и не формирует блоки <think></think>. В основе используется MoE-архитектура: всего 30,5 млрд параметров, из которых активируется 3,3 млрд; 48 слоёв, 128 экспертов, 8 активируемых экспертов, а также GQA с 32 головами Q и 4 головами KV. Нативная длина контекста составляет 262 144 токена. Данная версия сжата до 4 бит с group size 128 и настройкой desc_act=False, что, согласно README, повышает эффективность по числу токенов в секунду по сравнению с предыдущими квантизированными версиями. Для запуска рекомендуется vLLM версии 0.9.2 или новее. Модель подходит для чат-систем, генерации и обработки текста, анализа длинных документов, программирования, математических и исследовательских задач, а также агентских сценариев с использованием инструментов. К сильным сторонам относятся длинный контекст, улучшенные instruction following, reasoning, coding, alignment и многоязычные возможности базовой модели. Ограничения включают работу только в non-thinking режиме и возможные потери качества, связанные с 4-битной квантизацией. Модель распространяется по лицензии Apache-2.0.

JunHowie/Qwen3-32B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия языковой модели Qwen3-32B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческих задач, перевода и агентских сценариев с интеграцией внешних инструментов. Qwen3 поддерживает переключение между режимом рассуждения для сложных задач и нережимом рассуждения для более быстрой генерации, а также более 100 языков и диалектов. Модель является плотной causal language model с 32,8 млрд параметров, 64 слоями и механизмом GQA: 64 головы запросов и 8 голов ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов. Квантизация выполнена в 4 бита с group size 128; настройка desc_act=False повышает эффективность по скорости генерации токенов по сравнению с более ранними квантизованными версиями. Ограничениями являются возможное снижение точности по сравнению с полной версией модели и зависимость от совместимого программного окружения, включая vLLM версии 0.9.2 или выше. Модель распространяется по лицензии Apache 2.0.

vs199507/gemma-4-31B-it-GGUF — GGUF-версия мультимодальной instruction-tuned модели Gemma 4 31B, разработанной Google DeepMind и подготовленной сообществом Unsloth. Модель предназначена для генерации и понимания текста, программирования, рассуждений, работы с изображениями и агентских сценариев с вызовом функций. Это плотная модель примерно с 30,7 млрд параметров, 60 слоями и гибридным механизмом внимания, сочетающим локальное скользящее окно размером 1024 токена с глобальным вниманием. Она принимает текст и изображения и генерирует текст, поддерживает контекст до 256 тысяч токенов и мультиязычную работу более чем со 140 языками. Для модели заявлены настраиваемые режимы рассуждений, улучшенные возможности программирования, native function calling и поддержка системных промптов. К сильным сторонам относятся большой контекст, мультимодальное понимание, развитые возможности рассуждений и широкий спектр прикладных сценариев — от диалогов и анализа документов до coding и автономных агентов. Конкретные характеристики квантования, требования к памяти и производительность этой GGUF-сборки в README не указаны; из-за размера модель ориентирована преимущественно на мощные рабочие станции и серверы. Распространение осуществляется по лицензии Apache 2.0.

casperhansen/llama-3.3-70b-instruct-awq — это AWQ-квантизированная версия языковой модели Llama 3.3 70B Instruct, разработанной Meta и подготовленной в формате AWQ с использованием AutoAWQ. Модель предназначена для многоязычного диалога, генерации текста и кода, рассуждений, решения математических задач, программирования и сценариев с использованием инструментов. Она работает только с текстом на входе и выходе. Модель построена на авторегрессионной оптимизированной архитектуре Transformer, имеет 70 миллиардов параметров, поддерживает Grouped-Query Attention (GQA) и контекст длиной до 128 тысяч токенов. Она обучена на более чем 15 триллионах токенов из общедоступных онлайн-данных, а instruction-версия дополнительно использует supervised fine-tuning и reinforcement learning with human feedback для повышения полезности и безопасности. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; дата отсечения знаний — декабрь 2023 года. Сильными сторонами модели являются большой контекст, многоязычность и высокие заявленные результаты в задачах следования инструкциям, программирования, математики и понимания текста. К ограничениям относятся текстовая модальность, статичный характер модели и фиксированная дата отсечения знаний; качество и безопасность ответов могут зависеть от конкретного применения и квантизации AWQ. Использование регулируется пользовательской коммерческой лицензией Llama 3.3 Community License Agreement.

RedHatAI/Llama-3.3-70B-Instruct-quantized.w8a8 — квантизированная версия языковой модели Llama-3.3-70B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая модель формата «текст на входе — текст на выходе», предназначенная для диалоговых ассистентов, генерации текста, решения задач с открытым ответом, математического рассуждения и программирования. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, а также коммерческого и исследовательского использования. Модель использует архитектуру Llama и имеет 70 млрд параметров в исходной версии. Веса и активации линейных операторов в трансформерных блоках квантизированы в INT8. Для весов применяется статическая симметричная поканальная квантизация, для активаций — динамическая симметричная поточенная квантизация. По данным README, это примерно вдвое снижает требования к видеопамяти и размеру модели, а также может примерно вдвое увеличить пропускную способность матричных умножений. Приведённые примеры развертывания используют vLLM и длину контекста 8192 или 32768 токенов, однако точный нативный размер контекста в README не указан. По результатам внутренней оценки модель сохраняет 99,4% качества исходной версии по OpenLLM v1 и показывает 100% pass@1 на HumanEval и HumanEval+. Она оптимизирована для эффективного инференса, в частности через vLLM и совместимые с OpenAI API серверы, но квантизация может приводить к некоторой потере качества по сравнению с полной точностью. Модель предназначена только для текстовых задач и не поддерживает мультимодальный ввод. Условия использования определяются лицензией Llama 3.3 от Meta; README также исключает применение с нарушением действующих законов и нормативных требований. Модель была валидирована в Red Hat OpenShift AI 2.20, Red Hat AI Inference Server 3.0, Red Hat Enterprise Linux AI 1.5 и vLLM 0.8.4.

Это GGUF-квантизированная версия Meta-Llama-3.1-70B-Instruct, разработанная Meta и предназначенная для запуска с llama.cpp. Модель представляет собой авторегрессионную большую языковую модель на базе оптимизированной архитектуры Transformer. Инструкционная версия обучалась с применением supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности ответов. Модель работает только с текстом на входе и генерирует многоязычный текст и код. Она предназначена прежде всего для диалоговых ассистентов, генерации и обработки текста, программирования, синтетической генерации данных и дистилляции других моделей. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель содержит 70 млрд параметров, поддерживает Grouped-Query Attention и контекст длиной до 128 тысяч токенов. Данные обучения включают более 15 трлн токенов, срез знаний — декабрь 2023 года. Сильными сторонами являются большой контекст, многоязычный режим, поддержка кода и оптимизация для диалоговых сценариев. Это статическая модель, обученная на офлайн-данных, поэтому она не обладает актуальными знаниями после даты отсечения и может требовать проверки ответов. Репозиторий содержит квантизированный формат GGUF; для полной поддержки необходима llama.cpp версии 5e2727f или новее. Использование регулируется пользовательской коммерческой лицензией Llama 3.1 Community License и применимой Acceptable Use Policy.

Карточка модели NostraEmpire/mirror-qwen2.5-32b-instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-32B-Instruct, поэтому описание составлено по ней. Qwen2.5-32B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 32 млрд параметров для диалога и генерации текста; поддерживает интерфейс вызова инструментов. В архитектуре используются RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для следования инструкциям, написания длинных ответов, работы с таблицами и другими структурированными данными, а также генерации структурированного вывода, включая JSON. Она также подходит для задач программирования и математики. В README заявлена поддержка более 29 языков, включая русский и английский. Метаданные указывают контекст в 32 768 токенов; для этой версии README рекомендует конфигурацию до 131 072 токенов с YaRN для длинных входов, а генерацию — до 8 192 токенов. Модель распространяется в формате safetensors и работает через Transformers. Лицензия — Apache-2.0. Для контекстов длиннее 32 768 токенов требуется настройка YaRN; статическое масштабирование YaRN в vLLM может ухудшать производительность на коротких текстах.

Карточка модели ArchiveStudio/Qwen2.5-32B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-32B-Instruct, поэтому описание составлено по ней. Qwen2.5-32B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 32 млрд параметров для диалога и генерации текста; поддерживает интерфейс вызова инструментов. В архитектуре используются RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для следования инструкциям, написания длинных ответов, работы с таблицами и другими структурированными данными, а также генерации структурированного вывода, включая JSON. Она также подходит для задач программирования и математики. В README заявлена поддержка более 29 языков, включая русский и английский. Метаданные указывают контекст в 32 768 токенов; для этой версии README рекомендует конфигурацию до 131 072 токенов с YaRN для длинных входов, а генерацию — до 8 192 токенов. Модель распространяется в формате safetensors и работает через Transformers. Лицензия — Apache-2.0. Для контекстов длиннее 32 768 токенов требуется настройка YaRN; статическое масштабирование YaRN в vLLM может ухудшать производительность на коротких текстах.

Qwen3-4B-Instruct-2507-FP8 — причинная языковая модель, разработанная командой Qwen. Это FP8-квантованная версия Qwen3-4B-Instruct-2507 с 4 млрд параметров, из которых 3,6 млрд приходятся на параметры без учёта эмбеддингов. Модель имеет 36 слоёв и архитектуру Grouped-Query Attention с 32 головами для запросов и 8 для ключей и значений. Она предназначена для генерации и понимания текста, следования инструкциям, логического рассуждения, математики, естественных наук, программирования, работы с инструментами и открытых субъективных задач. Модель поддерживает контекст длиной до 262 144 токенов и улучшена для работы с длинными документами и запросами. Она ориентирована на многоязычные сценарии и демонстрирует улучшения в покрытии редких знаний на нескольких языках. Важная особенность — поддержка только нережима мышления: модель не формирует блоки <think></think>. FP8-квантизация с размером блока 128 снижает требования к памяти и может повысить эффективность инференса, однако при ограниченных ресурсах для предотвращения нехватки памяти может потребоваться уменьшить длину контекста. Модель подходит для чат-ботов, интеллектуальных помощников, анализа документов, генерации текстов и кода, а также агентских приложений с вызовом инструментов. Для использования рекомендуется актуальная версия библиотеки Transformers; также заявлена совместимость с SGLang, vLLM и рядом локальных приложений. README не приводит исчерпывающего перечня поддерживаемых языков и не описывает специальные ограничения качества, поэтому результаты могут зависеть от языка, предметной области и длины контекста. Модель распространяется по лицензии Apache 2.0.

mlx-community/gemma-4-12B-it-8bit — 8-битная MLX-версия instruction-tuned модели Gemma 4 12B Unified, опубликованная сообществом mlx-community на основе модели Google DeepMind. Это открытая мультимодальная модель с генерацией текста и поддержкой текстовых, изображений, видео и аудио входов; вариант 12B поддерживает аудио непосредственно. Модель предназначена для диалогов, генерации и анализа текста, рассуждений, программирования, обработки документов и изображений, OCR, понимания видео, распознавания речи и агентских сценариев с function calling. Она использует encoder-free unified-архитектуру, содержит около 12 млрд параметров и распространяется в 8-битном представлении MLX. Для Gemma 4 12B заявлены контекст до 256K токенов, мультиязычная поддержка более 140 языков при обучении и готовая поддержка более 35 языков. Сильные стороны — сочетание текстовых, визуальных и аудиовозможностей, длинный контекст, режим рассуждений и локальное выполнение; ограничение данного варианта — зависимость от совместимого стека MLX и снижение точности представления по сравнению с полноразмерной версией из-за 8-битной квантизации. Карточка исходной модели указывает разработчика Google DeepMind и лицензию Apache 2.0; для Gemma также следует учитывать применимые условия использования Google. Репозиторий mlx-community содержит веса в формате Safetensors и инструкции для запуска через MLX.

google/gemma-4-26B-A4B-it-qat-q4_0-gguf — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google DeepMind. Она принимает текстовые и графические данные и генерирует текст; аудио для этой версии не заявлено. Модель предназначена для диалогов, генерации текста, программирования, рассуждений, мультимодального анализа и агентских сценариев с поддержкой вызова функций. Модель относится к варианту Gemma 4 26B A4B и поставляется в формате GGUF с квантизацией Q4_0, выполненной с применением Quantization-Aware Training. Такой подход рассчитан на снижение требований к памяти при сохранении качества, близкого к версии bfloat16. Семейство поддерживает контекст до 256K токенов, более 140 языков, настраиваемые режимы рассуждений, системные промпты и гибридный механизм внимания с локальным скользящим и глобальным вниманием. Формат GGUF ориентирован на совместимость с широким кругом инструментов локального запуска. Сильными сторонами являются сочетание мультимодальности, длинного контекста, возможностей рассуждения и программирования с уменьшенными требованиями к памяти благодаря QAT-квантизации. Ограничения связаны с тем, что это квантизированная версия, поэтому результаты могут отличаться от полноточных вариантов, а для эффективного запуска всё равно требуется значительный объём памяти. Модель распространяется по лицензии Apache 2.0.

cyankiwi/gemma-4-31B-it-AWQ-8bit — квантизированная 8-битная версия instruction-tuned модели Gemma 4 31B, разработанной Google DeepMind. Модель предназначена для генерации текста, программирования, рассуждений, агентных сценариев и мультимодального анализа изображений с выдачей текстового ответа. Модель использует плотную архитектуру Dense с 30,7 млрд параметров, 60 слоями, гибридным вниманием с локальными скользящими окнами и глобальным вниманием, а также контекстным окном до 256K токенов. Поддерживаются текст и изображения; заявлена работа более чем со 140 языками. Среди возможностей — настраиваемые режимы рассуждений, native function calling и поддержка системных сообщений. Версия AWQ-8bit ориентирована на более экономичное по памяти развертывание, однако README не содержит точных требований к оборудованию и сведений о влиянии квантизации на качество. Сильными сторонами являются большой контекст, мультимодальность, улучшенные возможности кодирования и рассуждений, а также пригодность для сложных длинноконтекстных задач. Ограничения включают отсутствие аудиоподдержки у варианта 31B и высокие вычислительные требования по сравнению с меньшими моделями. Модель распространяется по лицензии Apache 2.0.

Mistral Small 3.1 24B Instruct — мультимодальная инструкционная модель Mistral AI с плотной архитектурой Mistral3 и 24 млрд параметров, дообученная на базе mistralai/Mistral-Small-3.1-24B-Base-2503. Она принимает текст и изображения, отвечает на вопросы о визуальном содержимом и поддерживает контекст до 128 тысяч токенов. Модель предназначена для диалоговых помощников, вызова функций и генерации JSON, программирования, математических рассуждений и анализа длинных документов. Модель поддерживает множество языков, включая английский, русский, французский, немецкий, испанский, китайский, японский, арабский и хинди. Среди описанных возможностей — локальный запуск, системные инструкции и визуальный анализ; для инференса рекомендована библиотека vLLM. Квантизированную версию можно разместить на одной RTX 4090 или MacBook с 32 ГБ памяти, согласно карточке модели. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование и модификацию. Качество ответов может различаться в зависимости от задачи; в карточке приведены результаты отдельных бенчмарков, которые не гарантируют точность в каждом практическом сценарии.

EnlistedGhost/Mistral-Small-3.1-24B-Instruct-2503-GGUF — это квантованная версия Mistral Small 3.1 24B Instruct 2503, исходно разработанной Mistral AI и преобразованной в формат GGUF пользователем EnlistedGhost с использованием llama.cpp. Модель совместима с Ollama и llama.cpp и предназначена для локального запуска. Модель имеет 24 миллиарда параметров, поддерживает работу с текстом и изображениями, а также контекст до 128 тысяч токенов. Она ориентирована на диалоговые приложения, вызов функций и агентские сценарии, генерацию JSON, программирование, математическое рассуждение, анализ длинных документов и визуальное понимание. Заявлена поддержка множества языков, включая английский, русский, украинский, арабский, испанский, немецкий, французский, китайский, японский, хинди и другие. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, длинный контекст, мультиязычность, поддержка function calling и возможность локального использования для задач, где важна конфиденциальность данных. К ограничениям относятся необходимость подбора подходящего квантования и наличие отдельных файлов vision projector для работы с изображениями; конкретные размеры основных GGUF-файлов в представленном README не указаны. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование, а также модификацию.

Qwen3-30B-A3B-Instruct-2507-AWQ-4bit — 4-битная AWQ-квантизированная версия модели Qwen3-30B-A3B-Instruct-2507, опубликованная пользователем cyankiwi и основанная на модели Qwen/Qwen3. Исходная модель разработана командой Qwen. Это авторегрессионная языковая модель для генерации текста, диалогов и выполнения инструкций. Модель предназначена для следования инструкциям, логического рассуждения, понимания текста, математики, научных задач, программирования, использования инструментов и открытых текстовых запросов. Она поддерживает многоязычные сценарии и контекст длиной до 262 144 токенов. Архитектура — Mixture of Experts: 30,5 млрд параметров всего, из которых 3,3 млрд активируются на запрос; 48 слоёв, 128 экспертов, 8 активируемых экспертов, Grouped Query Attention с 32 головами Q и 4 головами KV. Модель работает только в режиме non-thinking и не формирует блоки <think></think>. Сильные стороны включают улучшенное следование инструкциям, качество рассуждений, программирование, творческое письмо, работу с длинным контекстом и многоязычными данными. Ограничения связаны с использованием только non-thinking режима, возможными ошибками генерации и потерей качества из-за 4-битной квантизации; конкретные требования к аппаратному обеспечению в предоставленных данных не указаны. Лицензия — Apache-2.0.