II.7DevOps, облако и эксплуатация IT-систем

Qwen2.5-72B-Instruct — инструкция-настроенная большая языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на архитектуре Qwen2 с 71,5 млрд параметров по метаданным; карточка описывает 80 слоёв, RoPE, SwiGLU, RMSNorm и контекст до 131 072 токенов с генерацией до 8 192 токенов. В текущей конфигурации репозитория задан контекст 32 768 токенов, а для более длинных входов README предлагает YaRN. Модель предназначена для диалогов и следования инструкциям, генерации длинных текстов и структурированных ответов, включая JSON, а также для задач программирования, математики и понимания таблиц. Она поддерживает более 29 языков, включая русский и английский, и предоставляет интерфейс для вызова инструментов. Модель принимает и генерирует текст. Репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers; README рекомендует актуальную версию библиотеки и vLLM для развёртывания. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели. Удлинение контекста через статический YaRN может снижать производительность на коротких запросах.

unsloth/Qwen2.5-7B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Qwen2.5-7B, подготовленная Unsloth на основе Qwen/Qwen2.5-7B-Instruct. Это каузальная текстовая модель для диалогов, следования инструкциям, генерации связных текстов, работы со структурированными данными и JSON, программирования и математических задач. Модель содержит 7,61 млрд параметров, из которых 6,53 млрд — без учёта эмбеддингов, и имеет 28 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm и GQA с 28 головами для Q и 4 для KV. Поддерживается контекст до 131 072 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество версии — 4-битное квантование, позволяющее снизить требования к памяти и упростить локальный запуск, однако квантование может влиять на точность по сравнению с полноточной моделью. Модель рассчитана на текстовые сценарии и не предназначена для обработки изображений или других модальностей. Лицензия — Apache-2.0.

QuantFactory/Qwen2.5-7B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Qwen2.5-7B-Instruct, созданная QuantFactory на основе модели Qwen от Alibaba Cloud с использованием llama.cpp. Модель предназначена для диалоговых сценариев, генерации текста, следования инструкциям, работы со структурированными данными и JSON, а также для задач программирования и математики. Это авторегрессионная causal language model с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещений QKV в механизме внимания. Модель содержит 7,61 млрд параметров, 28 слоёв и использует Grouped Query Attention с 28 головами Q и 4 головами KV. Заявлена поддержка контекста до 131 072 токенов и генерации до 8192 токенов; для контекстов свыше 32 768 токенов требуется настройка YaRN. Поддерживается более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, японский, корейский и другие. Сильные стороны модели — улучшенное следование инструкциям, генерация длинных текстов, понимание таблиц и других структурированных данных, формирование JSON, а также развитые навыки в кодировании и математике. К ограничениям относятся возможное снижение качества или производительности на коротких текстах при статическом масштабировании YaRN и необходимость учитывать особенности используемого GGUF-квантизированного варианта. Модель распространяется по лицензии Apache-2.0.

NVFP4/Qwen3-30B-A3B-Instruct-2507 — квантизированная версия причинной языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen; формат NVFP4 создан для оптимизированного развертывания. Модель предназначена для генерации текста, следования инструкциям, логического рассуждения, понимания текста, математики, науки, программирования, использования инструментов и открытых диалоговых задач. Она поддерживает многоязычные сценарии и контекст до 262 144 токенов, работает только в нережиме рассуждений и не генерирует блоки <think></think>. Архитектура представляет собой causal language model на основе Mixture of Experts: 30,5 млрд параметров всего, из них 3,3 млрд активируются при обработке запроса; 48 слоев, 128 экспертов, 8 активных экспертов, Grouped Query Attention с 32 головами запросов и 4 головами ключей и значений. К сильным сторонам относятся улучшенные instruction following, качество открытых ответов, покрытие редких знаний, программирование и работа с длинным контекстом. К ограничениям относятся отсутствие режима пошагового рассуждения и потенциальные требования к совместимому программному и аппаратному стеку для запуска NVFP4-квантизации. Лицензия — Apache 2.0.

Qwen3-32B-FP8 — языковая модель серии Qwen3, разработанная командой Qwen и адаптированная для запуска на аппаратной платформе FuriosaAI RNGD с помощью Furiosa-LLM. Это плотная causal transformer-модель с 32,8 млрд параметров и grouped-query attention, предназначенная для генерации текста, диалогов, сложных рассуждений, решения математических задач, программирования, вызова инструментов и построения агентных сценариев. Модель работает с текстом на входе и выходе, поддерживает многоязычное использование и предоставляет OpenAI-совместимый API через сервер Furiosa-LLM. Ключевая особенность — гибридный режим работы: по умолчанию модель может формировать рассуждение перед итоговым ответом, а для более быстрых общих диалогов рассуждение можно отключить отдельно для запроса или задать как режим по умолчанию. Поддерживается вызов функций через tool-call parser hermes. Веса статически квантизированы в FP8 с размером блока 128, активации используют динамическую FP8-квантизацию, а KV-кэш сохраняется в 16-битной точности. Для запуска на RNGD требуется тензорный параллелизм на 32 вычислительных элементах, соответствующий четырём картам RNGD. Сильные стороны модели — сочетание рассуждений и эффективного диалога в одной модели, поддержка многоязычности, программирования, инструментов и агентных задач, а также снижение требований к памяти благодаря FP8-квантизации. Ограничения README не раскрывает: не указаны длина контекста, конкретный перечень языков, результаты бенчмарков и требования к ресурсам для других платформ. Данная сборка ориентирована на Furiosa-LLM и FuriosaAI RNGD, хотя исходная модель также может запускаться через vLLM, SGLang и Transformers. Лицензия — Apache 2.0.

Qwen3-4B-AWQ — причинная языковая модель из серии Qwen, разработанная командой Qwen. Она предназначена для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, написания кода, творческих задач, перевода и сценариев с использованием внешних инструментов. Модель поддерживает переключение между режимом рассуждения для сложных задач и нерешающим режимом для более быстрых ответов в рамках одной модели. Модель содержит 4,0 млрд параметров, из которых 3,6 млрд не относятся к embedding, и включает 36 слоёв. Используется Grouped-Query Attention с 32 головами запросов и 8 головами ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Доступна 4-битная AWQ-квантизация, уменьшающая требования к памяти. Qwen3 заявляет поддержку более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Сильными сторонами являются сочетание рассуждения и эффективного общего диалога, возможности работы с инструментами, поддержка длинного контекста и сниженные требования к ресурсам благодаря квантизации. Ограничения включают возможное ухудшение качества и зацикливание при жадном декодировании в режиме рассуждения; для него рекомендуются Temperature 0,6, TopP 0,95 и TopK 20. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-FP8 — языковая модель семейства Qwen, разработанная командой Qwen. Это causal language model для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, перевода и сценариев с использованием внешних инструментов. Модель поддерживает переключение между режимами thinking для сложных задач и non-thinking для более быстрых ответов в рамках одной модели. Модель содержит 4,0 млрд параметров, из них 3,6 млрд без учёта embedding, и имеет 36 слоёв. Используется Grouped-Query Attention с 32 головами для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с YaRN — до 131 072 токенов. Модель поддерживает более 100 языков и диалектов, ориентирована на мультиязычное следование инструкциям и перевод. Доступна в формате fine-grained FP8-квантизации с размером блока 128, что предназначено для повышения эффективности инференса. Сильные стороны модели — сочетание рассуждений и обычного диалога, развитые возможности следования инструкциям, мультиязычность, поддержка агентных сценариев и большой контекст. Ограничения включают известные проблемы fine-grained FP8 в Transformers при распределённом инференсе на нескольких устройствах; в таких случаях может потребоваться дополнительная настройка. Для корректной работы рекомендуется использовать актуальную версию Transformers или совместимые серверы инференса. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B — мультимодальная модель семейства Qwen от Qwen, представленная в репозитории RedHatAI. Это плотная причинная языковая модель с визуальным энкодером на 27 млрд параметров, построенная на архитектурной основе Qwen3.5 и дообученная после предварительного обучения. Веса доступны в формате Transformers и совместимы с Transformers, vLLM и SGLang; лицензия — Apache-2.0. Модель принимает текст, изображения и видео и предназначена для диалога, анализа документов и диаграмм, программирования, исследовательской и профессиональной работы, а также многошаговых агентных сценариев. Режим рассуждений включён по умолчанию, его можно отключить, а глубину рассуждений — настраивать. Нативный контекст составляет 262 144 токена и может расширяться до 1 000 000 токенов. К сильным сторонам относятся понимание изображений и видео, длинный контекст и возможности планирования и выполнения сложных задач. Карточка не приводит перечень поддерживаемых естественных языков; поэтому конкретные языки здесь не заявлены. Для практического развёртывания нужны совместимые инструменты инференса и соответствующие вычислительные ресурсы; результаты на бенчмарках не гарантируют качество в каждом сценарии.

Qwen3-8B-FP8 — большая языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизованная версия Qwen3-8B, предназначенная для генерации текста и диалоговых приложений. Модель поддерживает переключение между режимом рассуждений для сложных логических, математических и программных задач и обычным режимом для более быстрых ответов. Она также ориентирована на следование инструкциям, творческое письмо, ролевые сценарии, многошаговые диалоги, перевод и работу с внешними инструментами в агентных системах. Модель является каузальной языковой моделью с 8,2 млрд параметров, из которых 6,95 млрд не относятся к embedding-слою. Она содержит 36 слоёв и использует Grouped-Query Attention с 32 головами для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN достигает 131 072 токенов. Поддерживается более 100 языков и диалектов. FP8-квантизация выполнена мелкоблочным методом с размером блока 128, что предназначено для повышения эффективности хранения и инференса. Сильными сторонами модели являются сочетание рассуждений и быстрого общего диалога, мультиязычность, возможности генерации кода и интеграции с инструментами. Ограничения включают зависимость качества и производительности от режима рассуждений, аппаратной конфигурации и используемого inference-фреймворка; для распределённого инференса в Transformers указаны известные проблемы с fine-grained FP8. Модель распространяется по лицензии Apache-2.0.

google/gemma-4-31B-it-qat-w4a16-ct — инструкционная мультимодальная модель семейства Gemma 4, разработанная Google DeepMind. Она принимает текст и изображения и генерирует текст; предназначена для рассуждений, генерации текста, программирования, мультимодального анализа и агентских сценариев с поддержкой вызова функций. Модель имеет плотную архитектуру с 30,7 млрд параметров, 60 слоями и гибридным механизмом внимания, сочетающим локальное скользящее и глобальное внимание. Контекстное окно составляет до 256 тысяч токенов, размер словаря — 262 тысячи токенов. Gemma 4 поддерживает более 140 языков, режимы настраиваемого рассуждения и системные промпты. Для версии 31B заявлены текстовая и визуальная модальности; аудио для этой конфигурации не поддерживается. Суффикс qat-w4a16-ct указывает на чекпойнт, обученный с учётом квантизации и сохранённый в формате compressed-tensors с 4-битными весами и 16-битными активациями. Такой вариант ориентирован на эффективный инференс, включая нативное использование с vLLM, и должен требовать существенно меньше памяти при сохранении качества, близкого к bfloat16. Ограничениями являются повышенные требования к ресурсам по сравнению с меньшими моделями Gemma 4 и отсутствие аудиовхода. Лицензия — Apache 2.0.

unsloth/gemma-4-E4B-it-NVFP4 — квантизированная версия instruction-tuned модели Gemma 4 E4B, разработанной Google DeepMind и опубликованной Unsloth. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального анализа. Модель относится к семейству Gemma 4 и имеет плотную архитектуру с примерно 4,5 млрд эффективных параметров (8 млрд с учётом эмбеддингов) и 42 слоями. Она поддерживает текстовые и визуальные входные данные, а также аудио для малых моделей Gemma 4, включая E4B. Контекстное окно составляет до 128K токенов. Архитектура использует гибридное внимание с локальными скользящими окнами и глобальным вниманием, что помогает снижать требования к памяти при работе с длинным контекстом. Формат NVFP4 ориентирован на эффективное выполнение и развёртывание на совместимом оборудовании. К сильным сторонам относятся мультимодальность, поддержка многоязычия более чем на 140 языках, настраиваемые режимы рассуждений, улучшенные возможности программирования, нативная поддержка вызова функций и системных инструкций. Ограничения связаны с требованиями к совместимым программным и аппаратным средствам для NVFP4, а также с тем, что квантизация может влиять на точность по сравнению с полноразмерной версией. Модель распространяется по лицензии Apache 2.0.

unsloth/Llama-3.3-70B-Instruct-bnb-4bit — 4-битная версия модели Llama 3.3 70B Instruct, разработанной Meta и подготовленной для квантованного запуска сообществом Unsloth. Это авторегрессионная языковая модель на оптимизированной архитектуре Transformer с Grouped-Query Attention (GQA), дообученная с применением supervised fine-tuning и обучения с подкреплением на основе обратной связи от людей для повышения полезности и безопасности. Модель предназначена для многоязычного диалога, генерации и обработки текста и кода. Она принимает и формирует текст, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, имеет контекстное окно 128k токенов и содержит 70 млрд параметров. Объём предобучающих данных превышает 15 трлн токенов, а дата отсечения знаний — декабрь 2023 года. Ключевые преимущества — большой контекст, широкий языковой охват, диалоговая настройка и сниженные требования к памяти благодаря 4-битному формату bnb. Модель остаётся статичной и обучена на офлайн-данных, поэтому её знания не обновляются автоматически и могут содержать ошибки или устаревшую информацию. Лицензия — Llama 3.3 Community License Agreement с особыми условиями коммерческого использования.

RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-FP8-dynamic — мультимодальная instruction-модель, разработанная Red Hat совместно с Neural Magic на базе Mistral-Small-3.1-24B-Instruct-2503 от Mistral AI. Архитектура Mistral3ForConditionalGeneration принимает текст и изображения, а генерирует текст. Заявлены поддержка 27 языков, включая русский, английский, французский, немецкий, испанский, китайский и японский, а также задачи text-to-text и image-text-to-text. Модель предназначена для быстрых диалоговых агентов, вызова функций с низкой задержкой, программирования, математического рассуждения, анализа длинных документов и визуального понимания. Она также подходит для дообучения под предметные области и локального развертывания, в том числе в сценариях с чувствительными данными. Размер модели составляет 24 млрд параметров; README не указывает точное максимальное окно контекста. Модель оптимизирована с помощью FP8-квантизации весов и активаций: это примерно вдвое снижает требования к памяти GPU и размер диска, а также может примерно вдвое повысить пропускную способность матричных вычислений по сравнению с FP16. Для весов используется статическая симметричная поканальная квантизация, для активаций — динамическая симметричная потокенная квантизация; квантизуются линейные операторы внутри трансформерных блоков. Ограничения включают необходимость соблюдать законодательство и официально поддерживаемые языки. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-7B-Instruct-GPTQ-Int4 — квантизированная 4-битная instruction-tuned языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для диалоговых приложений, генерации текста, следования инструкциям, работы со структурированными данными и JSON, а также задач программирования и математики. Она поддерживает более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, японский, корейский и арабский. Модель является causal language model на архитектуре Transformer с RoPE, SwiGLU, RMSNorm и смещениями в QKV внимания. Она содержит 7,61 млрд параметров, 28 слоёв и использует GQA с 28 головами Q и 4 головами KV. Заявлена длина контекста до 131 072 токенов и генерация до 8192 токенов, однако исходная конфигурация репозитория рассчитана на 32 768 токенов; для более длинных входов требуется включение YaRN, что может снижать производительность на коротких текстах. Квантизация GPTQ Int4 уменьшает требования к памяти и делает модель более подходящей для локального или эффективного GPU-развёртывания, но может влиять на качество по сравнению с исходной версией в формате bfloat16. Для использования рекомендуется актуальная версия библиотеки Transformers; для длинного контекста рекомендуется vLLM. Модель распространяется по лицензии Apache-2.0.

Qwen3-14B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen3-14B-Base с 14 млрд параметров; метаданные указывают на архитектуру Qwen3ForCausalLM и формат safetensors. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с инструментами. Она поддерживает режимы рассуждения и обычного ответа, а также более 100 языков и диалектов. Контекстное окно, указанное в метаданных, составляет 40 960 токенов. Карточка описывает 32 768 токенов нативно и возможность расширения до 131 072 с YaRN. Для использования требуется библиотека Transformers; модель распространяется по лицензии Apache 2.0. Она принимает текстовые запросы и генерирует текст, а подключение внешних инструментов реализуется через интерфейс приложения.

Qwen3-235B-A22B-GGUF — квантованная версия модели Qwen3-235B-A22B, разработанной командой Qwen. Квантование в формате GGUF выполнил bartowski на основе llama.cpp. Модель предназначена для локального текстового взаимодействия, генерации и обработки текста, следования инструкциям, многоходовых диалогов, творческого письма, ролевых сценариев, программирования, математики и задач, требующих рассуждений. Это MoE-модель с общим размером 235B параметров и 22B активируемых параметров; в конфигурации указаны 128 экспертов, из которых одновременно активны 8. Поддерживаются режимы с рассуждением и без него, а также отключение рассуждений с помощью параметра /no_think в конце запроса. Заявлена поддержка более 100 языков и диалектов. Контекстное окно достигает 131 072 токенов с YaRN, при этом значение по умолчанию составляет 32 000 токенов. Сильные стороны модели — улучшенное рассуждение, широкий языковой охват, развитые агентские возможности и универсальность в диалоговых, творческих и технических задачах. Ограничения включают зависимость характеристик от конкретного варианта квантования и конфигурации запуска, а также возможность неточных, вредных или неподходящих ответов. Модель распространяется по лицензии Apache 2.0.

QuantTrio/Qwen3-235B-A22B-Instruct-2507-AWQ — это AWQ-квантизированная версия Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen и опубликованной QuantTrio. Модель предназначена для генерации текста и диалоговых сценариев, следования инструкциям, логического и математического рассуждения, научных задач, программирования, использования инструментов, обработки длинного контекста и многоязычных запросов. Это причинная языковая MoE-модель с 235 млрд параметров, из которых при обработке каждого токена активируются 22 млрд. Она содержит 94 слоя, 128 экспертов, 8 активных экспертов, 64 attention heads для Q и 4 для KV в схеме GQA. Нативная длина контекста составляет 262 144 токена. Модель работает только в non-thinking mode и не формирует блоки <think></think>. В репозитории указана интеграция с vLLM версии 0.9.2 и выше; размер файлов модели составляет около 116 ГБ, поэтому для запуска требуется мощная GPU-инфраструктура. Сильные стороны модели — улучшенные instruction following, понимание текста, знания, рассуждения, программирование, tool usage, открытые и субъективные задачи, а также работа с длинным контекстом и несколькими языками. Ограничения включают отсутствие thinking mode, высокие требования к памяти и необходимость учитывать особенности распределения MoE-экспертов при запуске на восьми GPU. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-30B-A3B-128K-GGUF — GGUF-версия языковой модели Qwen3-30B-A3B, разработанной командой Qwen компании Alibaba Cloud и подготовленной в формате квантования Unsloth. Это авторегрессионная causal language model с архитектурой mixture-of-experts (MoE): 30,5 млрд параметров всего, из которых 3,3 млрд активируются при обработке токена; модель содержит 48 слоёв, 128 экспертов, 8 активных экспертов и использует GQA с 32 головами Q и 4 головами KV. Модель предназначена для диалогов, следования инструкциям, генерации текста и кода, математического и логического рассуждения, творческого письма, многошаговых взаимодействий и агентских сценариев с использованием внешних инструментов. Она поддерживает переключение между режимами thinking и non-thinking: первый ориентирован на сложное рассуждение, а второй — на более быстрые ответы общего назначения. Qwen3 заявляет поддержку более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Нативная длина контекста составляет 32 768 токенов; до 131 072 токенов можно использовать с применением YaRN, что соответствует назначению версии с обозначением 128K. К сильным сторонам относятся сочетание высокой общей ёмкости с небольшим числом активных параметров, развитые способности к рассуждению, программированию и работе в агентских сценариях, а также возможность локального запуска через совместимые инструменты для GGUF. Ограничения включают необходимость корректной настройки режима мышления и YaRN для длинного контекста; конкретные требования к аппаратному обеспечению, показатели производительности и детали квантования в предоставленном README не указаны. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-30B-A3B-GGUF — GGUF-версия модели Qwen3-30B-A3B, разработанной командой Qwen компании Alibaba Cloud и подготовленной Unsloth. Это причинная языковая модель архитектуры Mixture-of-Experts (MoE), предназначенная для диалогов, следования инструкциям, генерации текста и кода, математического и логического рассуждения, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с использованием внешних инструментов. Модель поддерживает переключение между режимами рассуждения и быстрого ответа с помощью инструкций /think и /no_think. Она обучалась на этапах предварительного обучения и постобучения, содержит 30,5 млрд параметров, из которых активируется 3,3 млрд, 48 слоёв, 128 экспертов и 8 активируемых экспертов. Использует GQA с 32 головами для Q и 4 для KV. Нативная длина контекста составляет 32 768 токенов, а с YaRN заявлена поддержка до 131 072 токенов. Модель ориентирована более чем на 100 языков и диалектов; в метаданных README отдельно указан английский язык. К сильным сторонам относятся сочетание качества рассуждений и экономичности MoE-архитектуры, поддержка многоязычного следования инструкциям, широкий спектр прикладных задач и возможность запуска в GGUF-совместимых инструментах, включая llama.cpp и Ollama. Ограничения включают зависимость характеристик от конкретной GGUF-квантизации и программного окружения; точные параметры квантизации, требования к памяти и результаты бенчмарков в предоставленном README не указаны. Лицензия — Apache-2.0.

Qwen3-30B-A3B-GPTQ-Int4 — квантизированная 4-битная версия генеративной языковой модели Qwen3-30B-A3B, разработанной командой Qwen. Это авторегрессионная causal language model на архитектуре mixture-of-experts (MoE), предназначенная для генерации и обработки текста, диалогов, следования инструкциям, математического рассуждения, программирования, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с использованием внешних инструментов. Модель содержит 30,5 млрд параметров, из которых при обработке одного токена активируется около 3,3 млрд; число неэмбеддинговых параметров составляет 29,9 млрд. Она включает 48 слоёв, использует Grouped Query Attention с 32 головами запросов и 4 головами ключей и значений, а также 128 экспертов, из которых активируются 8. Нативная длина контекста — 32 768 токенов, с использованием YaRN заявлена поддержка до 131 072 токенов. Модель поддерживает более 100 языков и диалектов. Ключевая особенность Qwen3 — переключение между режимом рассуждения и обычным режимом без рассуждения в рамках одной модели. Режим рассуждения подходит для сложных логических задач, математики и кода, а обычный режим — для более эффективного общего диалога. GPTQ-квантизация Int4 снижает требования к памяти и облегчает развёртывание, однако может сопровождаться потерей качества по сравнению с полноразмерной версией; конкретные аппаратные требования и производительность зависят от среды запуска. Для работы рекомендуется актуальная версия Transformers, также заявлена совместимость с SGLang и vLLM. Модель распространяется по лицензии Apache-2.0. README не содержит подробных результатов бенчмарков, полного перечня поддерживаемых языков или точных требований к оборудованию.

unsloth/Qwen3-32B-GGUF — версия модели Qwen3-32B в формате GGUF, подготовленная Unsloth на основе базовой модели Qwen/Qwen3-32B, разработанной Alibaba Cloud. Это авторегрессионная языковая модель с предварительным обучением и последующей настройкой, предназначенная для диалогов, следования инструкциям, генерации текста и кода, математического и логического рассуждения, переводов, творческого письма и агентских сценариев с использованием внешних инструментов. Модель содержит 32,8 млрд параметров, из которых 31,2 млрд не относятся к embedding, и имеет 64 слоя. Используется grouped-query attention: 64 головы для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Модель поддерживает режимы thinking и non-thinking, между которыми можно переключаться, а также более 100 языков и диалектов. Формат GGUF ориентирован на запуск через совместимые локальные инструменты, однако конкретный вариант квантования в README не указан. К сильным сторонам относятся развитые способности к рассуждению, программированию, многоязычному следованию инструкциям, переводу, многошаговым диалогам и работе в агентских задачах. Ограничениями являются значительный размер модели и, вероятно, высокие требования к памяти и вычислительным ресурсам; точные требования зависят от варианта GGUF и в README не приведены. Модель распространяется по лицензии Apache 2.0.

Qwen3-4B-Instruct-2507 — плотная причинно-языковая модель семейства Qwen3, разработанная командой Qwen. Это обновлённая версия Qwen3-4B в режиме без рассуждений: модель обучена следовать инструкциям и вести диалог, а также поддерживает интерфейс вызова инструментов. В репозитории указано 4,0 млрд параметров, метаданные Hugging Face указывают 3,7 млрд; нативная длина контекста составляет 262 144 токена. Модель предназначена для генерации ответов, понимания текста, логических и математических задач, вопросов по естественным наукам, программирования и работы с инструментами. Большое окно контекста подходит для анализа длинных документов и диалогов; заявлена поддержка нескольких языков и улучшенное покрытие редких знаний. Модель принимает текст и выдаёт текст. В README отмечены улучшения следования инструкциям, рассуждений, генерации текста и работы с длинным контекстом. Модель работает только в режиме без рассуждений и не выводит блоки рассуждений. Лицензия — Apache-2.0.

unsloth/Qwen3-8B-128K-GGUF — это распространённая в формате GGUF версия языковой модели Qwen3-8B, разработанной командой Qwen и подготовленной Unsloth. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, математических и логических задач, творческого письма, многошагового взаимодействия и сценариев с внешними инструментами. Она поддерживает более 100 языков и диалектов, включая многоязычные инструкции и перевод. Модель представляет собой авторегрессионную causal language model с 8,2 млрд параметров, включая 6,95 млрд параметров без учёта эмбеддингов, и 36 слоями. Используется Grouped-Query Attention: 32 головы для запросов и 8 для ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов. Qwen3 поддерживает переключение между режимом размышлений для сложных задач и обычным режимом для более эффективного диалога. Сильными сторонами являются сочетание рассуждений и универсального диалога, возможности работы с агентами, многоязычность и расширенный контекст. Ограничения включают зависимость качества и скорости от конкретной GGUF-квантизации и доступного оборудования; сведения о точном варианте квантизации, требованиях к памяти и производительности в карточке не указаны. Модель распространяется по лицензии Apache-2.0.

Apertus-8B-Instruct-2509-GGUF — открытая мультиязычная языковая модель с 8 млрд параметров, разработанная Swiss AI и связанная со Swiss National AI Institute, ETH Zurich и EPFL. Это instruct-вариант модели Apertus для генерации и обработки текста, диалогов, работы с кодом и математическими задачами, а также агентских сценариев с использованием инструментов. Модель построена на архитектуре decoder-only Transformer, предварительно обучена на 15 трлн токенов данных веба, кода и математики, а затем дообучена с помощью supervised fine-tuning и выравнивания QRPO. Она поддерживает 1811 языков, контекст до 65 536 токенов и может запускаться через совместимые инструменты, включая Transformers, vLLM, SGLang и MLX. Формат GGUF предназначен для удобного локального развертывания, однако конкретный вариант квантования в предоставленных данных не указан. К сильным сторонам относятся открытые веса, раскрытые данные и детали обучения, широкий языковой охват, длинный контекст и акцент на соответствии требованиям обработки данных. Ограничения включают возможные ошибки и неточности, характерные для языковых моделей, а также высокие вычислительные требования по сравнению с небольшими моделями. Модель распространяется по лицензии Apache 2.0, но её использование также связано с отдельной политикой допустимого использования Apertus и требованиями по обработке персональных данных; разработчики рекомендуют регулярно применять фильтр выходных данных на основе актуальных запросов на удаление данных.

Bolt Instruct 32B — англоязычная причинно-следственная языковая модель с настройкой на выполнение инструкций от AI Squared, основанная на объединении моделей Allen Institute for AI OLMo. Вариант 32B предназначен для диалогов, рассуждений и генерации высокого качества; карточка указывает OLMo-3.1-32B-Instruct среди базовых моделей и описывает обучение семейства методом SFT, а для моделей 7B и 32B — с применением QLoRA. Модель подходит для чат-ассистентов и корпоративных сценариев: генерации структурированных ответов, извлечения сведений из документов, суммаризации, RAG и помощи с кодом. Она принимает текст и генерирует текст, поддерживает контекст до 65 536 токенов. В метаданных указана лицензия other; конкретные условия использования следует сверить с карточкой лицензии репозитория. Модель может галлюцинировать без опоры на источники, а качество зависит от размера варианта. Для задач с высокими последствиями требуется проверка человеком.

RedHatAI публикует инструкционно дообученную версию Gemma 4 26B A4B от Google DeepMind. Это мультимодальная модель семейства Gemma 4 с архитектурой Gemma4ForConditionalGeneration; вариант 26B A4B использует архитектуру Mixture of Experts и принимает текст и изображения, генерируя текст. Семейство поддерживает контекст до 256 тысяч токенов и работу более чем с 140 языками на уровне предобучения; авторы указывают практическую поддержку более 35 языков. Модель предназначена для диалогов, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания текста на изображениях, понимания графиков и интерфейсов, а также для сценариев с вызовом инструментов. Длинный контекст и чередование текста с изображениями подходят для анализа больших материалов и визуальных данных. Аудиовозможности в README заявлены только для меньших вариантов E2B и E4B, поэтому их не следует считать возможностью этой модели. Модель распространяется в формате Safetensors под лицензией Apache 2.0. Авторы отмечают общие ограничения моделей Gemma 4, но не приводят конкретных для этой версии показателей качества; результаты могут зависеть от задачи и языка.

GigaChat 3.1 Lightning — компактная инструкционная языковая модель семейства GigaChat 3.1, разработанная ai-sage. Модель предназначена для быстрых мультиязычных ассистентских сценариев, рассуждений, генерации и анализа кода, вызова функций и продуктовых применений. Она доступна в формате FP8 и построена на архитектуре Mixture-of-Experts: содержит 10 млрд параметров, из которых 1,8 млрд активны во время инференса. Модель использует Multi-head Latent Attention (MLA) для сжатия KV-кэша и снижения потребления памяти, а также Multi-Token Prediction (MTP), поддерживающий ускоренное и параллельное декодирование. Заявлена поддержка русского и английского языков; базовый обучающий корпус охватывает 10 языков и включает тексты, научные материалы, код, математику и синтетические данные. В README не указана точная длина контекста и не заявлена поддержка мультимодальных входов, поэтому модель следует рассматривать как текстовую. К сильным сторонам относятся высокая скорость инференса, низкий активный вычислительный бюджет, эффективность FP8 и улучшенная производительность в длинноконтекстных сценариях. Модель ориентирована на задачи поиска и цитирования, интерпретации файлового кода, персонализации и агентских диалогов с инструментами. Ограничения включают зависимость качества и скорости от аппаратного обеспечения, реализации инференса и режима MTP, а также отсутствие в предоставленных данных подробных сведений о максимальном контексте и мультимодальности. Модель распространяется по лицензии MIT.

RedHatAI разместила инструкционную мультимодальную модель Mistral-Small-3.1-24B-Instruct-2503 с архитектурой Mistral 3 и 24 млрд параметров. Это плотная модель, дообученная на базе mistralai/Mistral-Small-3.1-24B-Instruct-2503; репозиторий содержит веса safetensors и поддерживает чат и анализ изображений вместе с текстом. Модель предназначена для диалоговых помощников, вызова функций, программирования, математических рассуждений, анализа изображений и длинных документов. Контекстное окно — до 128 тыс. токенов. README заявляет поддержку множества языков, включая русский, английский, французский, немецкий, китайский, японский, арабский и другие. К сильным сторонам относятся мультимодальное понимание изображений, длинный контекст, многоязычность и возможность локального запуска после квантизации. Модель рассчитана на применение в системах Red Hat AI, а лицензия Apache 2.0 разрешает коммерческое использование и модификацию. Конкретные результаты могут зависеть от сценария и настройки; README отмечает низкую точность в SimpleQA среди приведённых текстовых оценок.

Mungert/Mistral-Small-3.2-24B-Instruct-2506-GGUF — GGUF-квантизированные версии языково-мультимодальной модели Mistral-Small-3.2-24B-Instruct-2506, разработанной Mistral AI и опубликованной пользователем Mungert. Модель является обновлением Mistral-Small-3.1-24B-Instruct-2503 и предназначена для диалогов, следования инструкциям, генерации текста и кода, решения STEM-задач, function calling, а также анализа изображений, документов, таблиц и диаграмм. Модель содержит около 24 млрд параметров, поддерживает текстово-визуальный ввод и языки английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский и ряд других языков, перечисленных в карточке. Версия 3.2 улучшает точность следования инструкциям, снижает вероятность зацикленной генерации и предлагает более надёжный шаблон function calling. Для создания GGUF-файлов использовался llama.cpp; автор применяет дополнительное повышение точности отдельных слоёв при квантовании, что может улучшать качество на низких разрядностях за счёт увеличения размера файлов. Сильные стороны модели — улучшенные результаты в instruction following, программировании, математике, STEM-бенчмарках и отдельных задачах компьютерного зрения. Ограничения включают зависимость качества, размера и скорости от выбранного уровня квантования, а также несколько более низкие результаты в некоторых vision-бенчмарках по сравнению с предыдущей версией. В карточке не указана длина контекстного окна. Модель распространяется по лицензии Apache-2.0 и рекомендуется к использованию через vLLM; также заявлена совместимость с transformers.

NVIDIA Nemotron-3-Ultra-550B-A55B-NVFP4 — текстовая языковая модель NVIDIA для диалогов, рассуждений и агентных приложений. Она основана на Nemotron-3-Ultra-550B-A55B-BF16 и в метаданных обозначена как дообучение этой модели; репозиторий использует формат safetensors и библиотеку Transformers. Архитектура сочетает Mamba-2, Mixture-of-Experts и слои внимания в гибриде LatentMoE, а Multi-Token Prediction предназначен для ускорения генерации. Модель содержит 550 млрд параметров, из которых активно 55 млрд, и поддерживает контекст до 1 млн токенов. Модель предназначена для сложных многошаговых задач, анализа длинных документов и кодовых баз, ответов на вопросы, следования инструкциям и построения чат-ботов, RAG-систем и ИИ-агентов. Карточка сообщает о поддержке английского, французского, испанского, итальянского, немецкого, японского, корейского, хинди, португальского Бразилии и китайского; метаданные также включают арабский и иврит. В карточке заявлена пригодность для коммерческого и некоммерческого использования, но метаданные указывают лицензию «other», поэтому условия следует сверить с лицензией репозитория. Модель очень крупная, а приведённые в карточке рекомендации по запуску ориентированы на ускорители NVIDIA; практическое развёртывание требует значительных вычислительных ресурсов.