II.3Рефакторинг, миграция и модернизация

gemma-4-31B-it-FP8 — FP8-квантованный вариант instruction-tuned модели google/gemma-4-31B-it из семейства Gemma 4, разработанного Google DeepMind и опубликованного prithivMLmods. Модель предназначена для генерации текста, рассуждений, программирования, математических задач, многоязычных сценариев и мультимодального анализа изображений, включая работу с документами, PDF, интерфейсами, диаграммами и распознаванием текста. Она также ориентирована на агентские приложения, function calling, извлечение структурированных данных и планирование. Модель имеет плотную архитектуру примерно на 31 млрд параметров, 60 слоёв, гибридное внимание с локальными скользящими окнами и глобальным вниманием, а также контекст до 256K токенов. Она принимает текст и изображения с переменным соотношением сторон и разрешением и генерирует текст; заявлена поддержка более 140 языков. Квантование FP8_DYNAMIC с форматом F8_E4M3 снижает требования к памяти и повышает эффективность вывода по сравнению с исходной версией, сохраняя основную функциональность базовой модели. Предусмотрена совместимость с Transformers, vLLM и llama.cpp, включая использование на NVIDIA и AMD GPU. Сильными сторонами являются большой контекст, мультимодальность, возможности рассуждения, кодирования и автономных агентов, а также возможность локального развёртывания. Ограничения включают высокие требования к вычислительным ресурсам для модели такого размера и потенциальные компромиссы качества, связанные с FP8-квантованием; конкретные требования к памяти и результаты независимых тестов в карточке не указаны. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen2.5-14B-Instruct — инструкционно настроенная плотная причинная языковая модель, опубликованная Unsloth на основе Qwen/Qwen2.5-14B-Instruct. Она предназначена для диалогов, генерации текста и выполнения инструкций; среди подходящих сценариев — ответы на вопросы, помощь с кодом и математикой, работа с таблицами и создание структурированных ответов, включая JSON. Модель содержит 14 млрд параметров и использует архитектуру Qwen2 с RoPE, SwiGLU, RMSNorm и GQA. Метаданные указывают контекст до 32 768 токенов; в README описана возможность расширить его до 131 072 токенов с YaRN, а генерацию — до 8 192 токенов. Модель поддерживает многоязычные сценарии, в том числе китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Доступны веса в формате safetensors, библиотека Transformers, а также интерфейсы чата и вызова инструментов. README отмечает, что для работы с длинным контекстом требуется настройка YaRN, которая может повлиять на качество коротких запросов. Лицензия — Apache 2.0.

Qwen3-14B-GGUF — квантизированная версия причинной языковой модели Qwen3-14B, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов и агентных возможностей. Модель содержит 14,8 млрд параметров, из которых 13,2 млрд приходятся на параметры без учёта эмбеддингов, и имеет 40 слоёв. Используется Grouped-Query Attention: 40 голов для запросов и 8 для ключей и значений. Поддерживаются режимы с рассуждением и без рассуждения, между которыми можно переключаться в рамках одной модели. Заявлена поддержка более 100 языков и диалектов. Нативная длина контекста составляет 32 768 токенов; с использованием YaRN проверена работа с контекстом до 131 072 токенов. Доступны варианты квантования q4_K_M, q5_0, q5_K_M, q6_K и q8_0 в формате GGUF. Сильные стороны модели — сочетание рассуждений и эффективного общего диалога, развитое следование инструкциям, мультиязычность и интеграция с инструментами. Формат GGUF ориентирован на локальный запуск через llama.cpp и Ollama. Ограничения связаны с возможным снижением качества из-за квантования; при использовании статического YaRN производительность на коротких текстах может ухудшаться, поэтому его рекомендуется включать только для длинного контекста. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-FP8 — языковая модель семейства Qwen, разработанная командой Qwen. Это causal language model для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, перевода и сценариев с использованием внешних инструментов. Модель поддерживает переключение между режимами thinking для сложных задач и non-thinking для более быстрых ответов в рамках одной модели. Модель содержит 4,0 млрд параметров, из них 3,6 млрд без учёта embedding, и имеет 36 слоёв. Используется Grouped-Query Attention с 32 головами для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с YaRN — до 131 072 токенов. Модель поддерживает более 100 языков и диалектов, ориентирована на мультиязычное следование инструкциям и перевод. Доступна в формате fine-grained FP8-квантизации с размером блока 128, что предназначено для повышения эффективности инференса. Сильные стороны модели — сочетание рассуждений и обычного диалога, развитые возможности следования инструкциям, мультиязычность, поддержка агентных сценариев и большой контекст. Ограничения включают известные проблемы fine-grained FP8 в Transformers при распределённом инференсе на нескольких устройствах; в таких случаях может потребоваться дополнительная настройка. Для корректной работы рекомендуется использовать актуальную версию Transformers или совместимые серверы инференса. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.

Qwen3-30B-A3B-Instruct-2507 — языковая модель компании Qwen на архитектуре причинного MoE-декодера. В модели 30,5 млрд параметров, из которых при генерации активируются 3,3 млрд; она включает 48 слоёв и 128 экспертов, из которых активны восемь. Модель обучена для режима без рассуждений в специальном формате и доступна под лицензией Apache 2.0. Модель предназначена для диалогов и выполнения инструкций, генерации и понимания текста, логических и математических задач, вопросов по науке, программирования и вызова инструментов. Она поддерживает многоязычные сценарии и нативный контекст до 262 144 токенов; в README также описана экспериментальная настройка обработки контекста около миллиона токенов с DCA и разреженным вниманием, требующая примерно 240 ГБ видеопамяти. К сильным сторонам относятся следование инструкциям, работа с длинным контекстом и инструментами. Ограничение: модель работает только в режиме без рассуждений; обработка около миллиона токенов требует дополнительной настройки и значительных ресурсов.

Qwen3-4B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Она предназначена для диалогов, следования инструкциям, рассуждений, генерации кода, творческого письма, многоязычных задач и работы с инструментами. В модели около 3,7 млрд параметров по метаданным; она использует архитектуру Qwen3ForCausalLM и поддерживает контекст до 40 960 токенов по метаданным. README описывает переключение между режимами рассуждения и обычного диалога, а также поддержку более 100 языков и диалектов. Модель обучена на базе Qwen/Qwen3-4B-Base и распространяется в формате safetensors для библиотеки Transformers. Лицензия — Apache 2.0. Карточка предупреждает о возможных бесконечных повторах при генерации и рекомендует настраивать параметры сэмплирования.

unsloth/Qwen3.5-27B-GGUF — квантованный формат модели Qwen3.5-27B, разработанной командой Qwen; сборка и GGUF-варианты подготовлены Unsloth. Это мультимодальная причинная языковая модель с vision encoder, предназначенная для диалогов, анализа изображений, рассуждений, программирования, агентских сценариев, работы с длинным контекстом и вызова инструментов. Модель может использоваться локально и совместима с распространёнными средствами инференса для GGUF; README также рекомендует настройки для включения или отключения режима рассуждений. Модель содержит 27 млрд параметров, 64 слоя и использует гибридную архитектуру Gated Delta Networks, Gated Attention и разреженной Mixture-of-Experts; размер скрытого представления — 4096. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта, а также мультимодальный ввод. Unsloth указывает на применение Dynamic 2.0 GGUF и imatrix-данных для повышения качества в задачах диалога, программирования, длинного контекста и tool calling. Сильными сторонами являются сочетание языкового и визуального понимания, большой контекст, поддержка широкого набора языков и варианты для эффективного локального запуска. Ограничения включают необходимость подходящего GGUF-совместимого программного обеспечения и аппаратных ресурсов; конкретные требования зависят от выбранного уровня квантования. Модель распространяется по лицензии Apache-2.0.

C4AI Command-R — языковая модель на 35 млрд параметров, разработанная Cohere For AI и представленная в формате GGUF-квантизации bartowski на основе llama.cpp. Модель предназначена для генерации текста и поддерживает рассуждения, обобщение, ответы на вопросы, работу с общими знаниями и программирование. Также заявлена высокая эффективность в сценариях RAG. Модель оптимизирована для многоязычной генерации на английском, французском, немецком, испанском, итальянском, бразильском португальском, японском, корейском, упрощённом китайском и арабском языках. В предобучающие данные дополнительно входили русский, польский, турецкий, вьетнамский, нидерландский, чешский, индонезийский, украинский, румынский, греческий, хинди, иврит и персидский языки. Заявлена поддержка контекста до 128K токенов. Модель обучалась с применением supervised fine-tuning и preference training для повышения полезности и безопасности. К сильным сторонам относятся большой контекст, широкий набор языков, универсальность и пригодность для RAG, анализа текста и программирования. Ограничения включают отсутствие поддержки system prompt согласно указанному шаблону и необходимость использования подходящего prompt template Cohere Command R. Модель распространяется по лицензии CC BY-NC-4.0, допускающей некоммерческое использование согласно её условиям.

Google DeepMind разработала Gemma 4 12B IT QAT Q4_0 Unquantized — мультимодальную инструкционную модель с плотной архитектурой Gemma4UnifiedForConditionalGeneration, полученную на основе google/gemma-4-12B-it с применением обучения с учётом квантования (QAT). Несмотря на обозначение Q4_0, в этом варианте используются веса половинной точности, извлечённые из QAT-конвейера; он предназначен для последующей компиляции и исследовательской работы. Репозиторий содержит веса в формате safetensors. Модель принимает текст и изображения, а также аудио и видеокадры; генерирует текст. Она подходит для диалога, рассуждений, анализа документов и изображений, распознавания речи, работы с видео, написания и исправления кода и вызова инструментов. Вариант 12B поддерживает контекст до 256 тысяч токенов; семейство Gemma 4 обучено на более чем 140 языках, а карточка заявляет поддержку более 35 языков для мультимодальных задач. Среди заявленных возможностей — понимание документов и PDF, OCR, распознавание рукописного текста, анализ диаграмм и интерфейсов, а также распознавание речи и перевод аудио в текст. Это открытая модель с лицензией Apache 2.0. Указанные в карточке возможности относятся к семейству Gemma 4; отдельные показатели качества для данного чекпойнта не приведены.

DeepXR/Helion-V2.0-Thinking — мультимодальная модель семейства LLaVA от DeepXR для диалогов и анализа изображений. По README, она содержит 10,2 млрд параметров: языковую часть на базе Llama 2 и визуальный энкодер SigLIP; заявлены контекст до 200 000 токенов, поддержка нескольких изображений и работа через Transformers. Модель принимает текст и изображения и генерирует текст, включая ответы на вопросы, пояснения и вызовы инструментов в структурированном формате. Модель предназначена для анализа документов, диаграмм, графиков и скриншотов, генерации и объяснения кода, многошаговых диалогов и интеграции с API. README заявляет поддержку более 12 языков, однако указывает, что модель в первую очередь оптимизирована для английского. Репозиторий распространяется по лицензии Apache 2.0. Заявленные ограничения: качество визуального анализа зависит от четкости и освещения изображения; обработка контекста длиной свыше 150 000 токенов требует значительной видеопамяти; ответы могут содержать ошибки. Для медицинских и юридических решений README рекомендует проверку человеком.

Hermes 4 405B — языковая модель Nous Research для диалогов и следования инструкциям, дообученная на базе Meta Llama 3.1 405B. Это плотная авторегрессионная модель с 403,7 млрд параметров, представленная в формате safetensors и рассчитанная на контекст до 131 072 токенов. Модель предназначена для работы в роли универсального ассистента: она ведёт диалог, рассуждает, помогает с математикой, программированием, STEM-задачами, логикой и творческим письмом. Поддерживает гибридный режим рассуждений, вызов функций и инструментов, а также генерацию структурированных ответов, включая JSON по заданной схеме. В карточке указана поддержка английского языка. Разработчик сообщает об улучшениях в рассуждениях, следовании форматам и управляемости после дообучения. Реальное качество может зависеть от запроса, шаблона чата и настроек генерации; работа с инструментами требует подходящего парсера и среды исполнения. Лицензия — Llama 3.

RedHatAI разместила инструкционную мультимодальную модель Mistral-Small-3.1-24B-Instruct-2503 с архитектурой Mistral 3 и 24 млрд параметров. Это плотная модель, дообученная на базе mistralai/Mistral-Small-3.1-24B-Instruct-2503; репозиторий содержит веса safetensors и поддерживает чат и анализ изображений вместе с текстом. Модель предназначена для диалоговых помощников, вызова функций, программирования, математических рассуждений, анализа изображений и длинных документов. Контекстное окно — до 128 тыс. токенов. README заявляет поддержку множества языков, включая русский, английский, французский, немецкий, китайский, японский, арабский и другие. К сильным сторонам относятся мультимодальное понимание изображений, длинный контекст, многоязычность и возможность локального запуска после квантизации. Модель рассчитана на применение в системах Red Hat AI, а лицензия Apache 2.0 разрешает коммерческое использование и модификацию. Конкретные результаты могут зависеть от сценария и настройки; README отмечает низкую точность в SimpleQA среди приведённых текстовых оценок.

RedHatAI/Qwen2.5-14B-Instruct-FP8-dynamic — производная FP8 dynamic-квантизованная версия Qwen2.5-14B-Instruct, опубликованная Red Hat AI. Исходная модель разработана командой Qwen и представляет собой инструкционно дообученную авторегрессионную языковую модель для генерации текста и диалогового взаимодействия. Модель предназначена для чат-ботов, следования инструкциям, генерации длинных и структурированных ответов, включая JSON, а также для задач программирования, математики, анализа таблиц и других текстовых сценариев. Это текстовая, не мультимодальная модель с архитектурой Qwen2ForCausalLM; в исходной версии около 14,7 млрд параметров. Заявлена поддержка контекста до 128K токенов и генерации до 8K токенов. Модель мультиязычная; среди явно указанных языков есть английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество варианта RedHatAI — FP8 dynamic-квантизация, рассчитанная на уменьшение требований к памяти и ускорение инференса при сохранении назначения исходной instruct-модели. Ограничения включают типичные для языковых моделей риск ошибок, галлюцинаций и зависимости качества от формулировки запроса; конкретные результаты тестирования именно этой квантизованной версии в найденном репозитории не приведены. Для исходной Qwen2.5-14B-Instruct указана лицензия Apache 2.0; отдельная карточка модели RedHatAI лицензионные условия явно не описывает.

unsloth/Qwen3-30B-A3B-GGUF — GGUF-версия модели Qwen3-30B-A3B, разработанной командой Qwen компании Alibaba Cloud и подготовленной Unsloth. Это причинная языковая модель архитектуры Mixture-of-Experts (MoE), предназначенная для диалогов, следования инструкциям, генерации текста и кода, математического и логического рассуждения, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с использованием внешних инструментов. Модель поддерживает переключение между режимами рассуждения и быстрого ответа с помощью инструкций /think и /no_think. Она обучалась на этапах предварительного обучения и постобучения, содержит 30,5 млрд параметров, из которых активируется 3,3 млрд, 48 слоёв, 128 экспертов и 8 активируемых экспертов. Использует GQA с 32 головами для Q и 4 для KV. Нативная длина контекста составляет 32 768 токенов, а с YaRN заявлена поддержка до 131 072 токенов. Модель ориентирована более чем на 100 языков и диалектов; в метаданных README отдельно указан английский язык. К сильным сторонам относятся сочетание качества рассуждений и экономичности MoE-архитектуры, поддержка многоязычного следования инструкциям, широкий спектр прикладных задач и возможность запуска в GGUF-совместимых инструментах, включая llama.cpp и Ollama. Ограничения включают зависимость характеристик от конкретной GGUF-квантизации и программного окружения; точные параметры квантизации, требования к памяти и результаты бенчмарков в предоставленном README не указаны. Лицензия — Apache-2.0.

ELVISIO/Qwen3-30B-A3B-Instruct-2507-AWQ — это квантизированная версия Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая рассуждения, понимание текста, математику, научные задачи, программирование, использование инструментов и работу с многоязычными запросами. Модель использует архитектуру причинной языковой модели MoE с 30,5 млрд параметров, из которых 3,3 млрд активируются при обработке токена. Она содержит 48 слоёв, 128 экспертов и активирует 8 экспертов; применяется GQA с 32 головами запросов и 4 ключей/значений. Нативная длина контекста составляет 262 144 токена. Это текстовая модель без мультимодальных возможностей, работающая только в non-thinking режиме и не формирующая блоки <think></think>. Основные сильные стороны — улучшенное следование инструкциям, качество открытой генерации, логическое и математическое рассуждение, программирование, использование инструментов, многоязычное понимание и обработка длинного контекста. Модель подвергнута AWQ int4-квантизации с использованием ms-swift, что снижает требования к памяти, но может сопровождаться некоторой потерей качества по сравнению с полной версией. README не содержит подробных сведений о языках, аппаратных требованиях и ограничениях производительности. Модель распространяется по лицензии Apache 2.0.

stelterlab/Qwen3-30B-A3B-Instruct-2507-AWQ — квантизированная версия модели Qwen3-30B-A3B-Instruct-2507, разработанной Qwen AI. Это авторегрессионная языковая модель на базе архитектуры Mixture-of-Experts с 30,5 млрд параметров, из которых 3,3 млрд активируются при обработке одного токена. Модель содержит 48 слоёв, использует Grouped Query Attention с 32 головами запросов и 4 KV-головами, а также 128 экспертов, из которых активны 8. Контекст поддерживается до 262 144 токенов. Модель предназначена для генерации и понимания текста, следования инструкциям, логического рассуждения, математики, научных и технических задач, программирования, использования инструментов, творческого письма и работы с длинными документами. Она поддерживает множество языков и ориентирована на улучшенное покрытие редких знаний и более качественное выполнение субъективных и открытых заданий. Модель работает только в режиме без рассуждений и не формирует блоки <think></think>. В данном репозитории веса преобразованы в формат AWQ с INT4 GEMM с использованием llm-compressor; квантизацию выполнила stelterlab. Это экспериментальная сборка, протестированная с vLLM 0.9.2, поэтому совместимость и качество инференса могут зависеть от используемого программного стека. Квантизация снижает требования к памяти по сравнению с полноточными весами, но может приводить к некоторой потере качества. Модель распространяется по лицензии Apache-2.0.

NVFP4/Qwen3-30B-A3B-Instruct-2507 — квантизированная версия причинной языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen; формат NVFP4 создан для оптимизированного развертывания. Модель предназначена для генерации текста, следования инструкциям, логического рассуждения, понимания текста, математики, науки, программирования, использования инструментов и открытых диалоговых задач. Она поддерживает многоязычные сценарии и контекст до 262 144 токенов, работает только в нережиме рассуждений и не генерирует блоки <think></think>. Архитектура представляет собой causal language model на основе Mixture of Experts: 30,5 млрд параметров всего, из них 3,3 млрд активируются при обработке запроса; 48 слоев, 128 экспертов, 8 активных экспертов, Grouped Query Attention с 32 головами запросов и 4 головами ключей и значений. К сильным сторонам относятся улучшенные instruction following, качество открытых ответов, покрытие редких знаний, программирование и работа с длинным контекстом. К ограничениям относятся отсутствие режима пошагового рассуждения и потенциальные требования к совместимому программному и аппаратному стеку для запуска NVFP4-квантизации. Лицензия — Apache 2.0.

Qwen3-4B-GGUF — квантизированная версия языковой модели Qwen3-4B, разработанная командой Qwen компании Alibaba Cloud. Это авторегрессионная causal language model для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Модель поддерживает более 100 языков и диалектов, включая мультиязычное следование инструкциям и перевод. Модель содержит 4,0 млрд параметров, из которых 3,6 млрд не относятся к embedding, и включает 36 слоёв. Используется Grouped-Query Attention с 32 головами для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов; с применением RoPE-масштабирования YaRN заявлена поддержка до 131 072 токенов. Доступны варианты квантизации q4_K_M, q5_0, q5_K_M, q6_K и q8_0 в формате GGUF, ориентированные на локальный запуск, в частности через llama.cpp и Ollama. Ключевая особенность Qwen3 — переключение между режимами thinking для сложных задач рассуждения и non-thinking для более эффективного общего диалога в рамках одной модели. Модель также заявлена как пригодная для агентских задач и интеграции с внешними инструментами. Ограничения включают возможное снижение качества на коротких текстах при использовании статического YaRN, а для квантизированных вариантов рекомендуется настраивать presence penalty для уменьшения повторов. Модель распространяется по лицензии Apache-2.0.

Карточка модели cxyzz/Qwen3.8-27B на Hugging Face совпадает с карточкой Qwen/Qwen3.8-27B, поэтому описание составлено по ней. Qwen3.8-27B — плотная мультимодальная модель семейства Qwen от команды Qwen. Это постобученная причинная языковая модель с визуальным энкодером, содержащая 27 млрд параметров и построенная на архитектурной основе Qwen3.5. Репозиторий включает веса и конфигурацию в формате Hugging Face Transformers; модель также совместима с vLLM, SGLang и другими средами инференса. Лицензия — Apache-2.0. Модель предназначена для диалогов, программирования, профессиональных и исследовательских задач, а также многошаговых агентных сценариев. Она принимает текст, изображения и видео и умеет разбирать документы, диаграммы и длительные видеоматериалы. Режим рассуждения включён по умолчанию, его можно отключить для отдельного запроса, а глубину настраивать параметром reasoning_effort. Контекст составляет 262 144 токена и может расширяться до 1 000 000 токенов. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN-блоки; предусмотрено обучение с Multi-Token Prediction. В карточке заявлены улучшения планирования и выполнения задач с учётом обратной связи среды, однако приведённые описания бенчмарков сами по себе не гарантируют качество в конкретном применении. Модель ориентирована на применение и распространяется по лицензии Apache-2.0.

JunHowie/Qwen3-8B-GPTQ-Int8 — это квантизированная версия языковой модели Qwen3-8B, основанной на семействе Qwen, разработанном командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, многоязычного общения, перевода и сценариев с интеграцией внешних инструментов. Она поддерживает более 100 языков и диалектов, а также переключение между режимами рассуждения и обычной генерации. В основе лежит каузальная языковая модель с 8,2 млрд параметров, 36 слоями и архитектурой Grouped-Query Attention: 32 головы для запросов и 8 для ключей и значений. Нативная длина контекста составляет 32 768 токенов, с использованием YaRN заявлена поддержка до 131 072 токенов. Эта версия сжата до 8-битного представления с размером группы 128; настройка desc_act=False повышает эффективность по скорости генерации токенов по сравнению с более ранними квантизированными вариантами. Основные ограничения связаны с потерями, возможными при квантизации, а также с необходимостью совместимого программного окружения: в README рекомендован vLLM версии 0.9.2 или новее. Модель распространяется по лицензии Apache-2.0.

nicecurls/gemma-4-12B-it — дообученная instruction-tuned версия Gemma 4 12B Unified, мультимодальной модели Google DeepMind. Она предназначена для диалогов, генерации текста и кода, рассуждений, работы с изображениями, видео и аудио, а также для сценариев с вызовом инструментов. Модель принимает текст, изображения, видео и аудио и генерирует текст. Архитектура — плотная Gemma4UnifiedForConditionalGeneration; веса опубликованы в формате safetensors и доступны через Transformers. Для базовой Gemma 4 12B заявлено контекстное окно до 256 тысяч токенов. Семейство поддерживает более 140 языков при обучении и мультиязычные сценарии; распознавание речи и перевод речи в текст поддерживаются для варианта 12B. Модель подходит для локального развертывания на достаточно мощном оборудовании, анализа документов и визуального содержимого, транскрибации речи и агентных рабочих процессов. Лицензия — Apache 2.0. Конкретные ограничения производительности этой производной версии не описаны; как и другие генеративные модели, она может ошибаться в ответах и интерпретации мультимодальных данных.

unsloth/gemma-4-31B-it-qat-w4a16 — инструктивно дообученная мультимодальная модель семейства Gemma 4, разработанная Google DeepMind. Это вариант с Quantization-Aware Training (QAT), представленный в формате compressed-tensors w4a16 для оптимизированного инференса через vLLM. Модель принимает текст и изображения и генерирует текст; поддерживает более 140 языков и контекст до 256K токенов. Аудиовход для версии 31B не заявлен. Модель предназначена для генерации текста, программирования, рассуждений, мультимодального анализа, агентских сценариев и вызова функций. Она использует плотную (Dense) архитектуру с 30,7 млрд параметров, 60 слоями, размером скользящего окна внимания 1024 токена и словарём из 262 тысяч токенов. Гибридный механизм внимания сочетает локальное скользящее и глобальное внимание, что помогает снижать затраты памяти при работе с длинным контекстом. Поддерживаются настраиваемые режимы рассуждений и системные промпты. Ключевое преимущество версии QAT — существенно сниженные требования к памяти при сохранении качества, близкого к bfloat16, а формат w4a16 ориентирован на эффективное развёртывание. Ограничение модели — отсутствие заявленной поддержки аудио, а также необходимость совместимой инфраструктуры для работы с форматом compressed-tensors и vLLM. Модель распространяется по лицензии Apache 2.0.

Карточка модели Terom/gemma-4-E2B-it на Hugging Face совпадает с карточкой google/gemma-4-E2B-it, поэтому описание составлено по ней. Gemma 4 E2B IT — мультимодальная модель Google DeepMind, дообученная на основе google/gemma-4-E2B для выполнения инструкций. Она принимает текст, изображения и аудио, а выдаёт текст; подходит для диалогов, рассуждений, написания и исправления кода, распознавания речи и анализа визуального содержимого, включая документы, диаграммы и кадры видео. Модель использует плотную архитектуру Gemma 4 и рассчитана на локальное развёртывание, в том числе на устройствах с ограниченными ресурсами. Для малых моделей семейства заявлено контекстное окно до 128 тысяч токенов; Gemma 4 поддерживает множество языков. Модель поддерживает вызов инструментов и режим рассуждений. Google DeepMind указывает сценарии использования для создания контента, диалоговых помощников, суммаризации, извлечения сведений из изображений и работы с аудио. Репозиторий содержит веса Safetensors, модель использует библиотеку Transformers и распространяется по лицензии Apache 2.0. Качество ответов может зависеть от языка, сложности задачи и входных данных; описание не приводит отдельных оценок для этой версии.

unsloth/gemma-4-E4B — дообученная Unsloth версия мультимодальной модели Gemma 4 E4B от Google DeepMind. Она принимает текст и изображения и формирует текстовые ответы для диалога, рассуждений, программирования и анализа визуального содержимого. Архитектура Gemma4ForConditionalGeneration использует гибридное внимание: чередует локальные окна внимания с глобальным вниманием. Для семейства E4B заявлено контекстное окно до 128 тысяч токенов; карточка также описывает распознавание изображений, документов, графиков, экранов и рукописного текста, а для E4B — аудиоввод, распознавание речи и перевод речи в текст. Модель подходит для вопросов по изображениям и документам, извлечения визуальной информации, генерации и исправления кода, суммаризации и агентных сценариев с вызовом инструментов. Семейство поддерживает более 35 языков, однако конкретный перечень для этой версии не приведён. Модель распространяется в формате safetensors по лицензии Apache 2.0. Ответы могут содержать фактические ошибки; также возможны смещения, трудности с языковыми нюансами и сложными открытыми задачами.

Карточка модели smplelife12798/gemma-4-E4B-it на Hugging Face совпадает с карточкой google/gemma-4-E4B-it, поэтому описание составлено по ней. Gemma 4 E4B Instruct — мультимодальная модель Google DeepMind, дообученная для следования инструкциям на базе google/gemma-4-E4B. Она использует плотную архитектуру Gemma 4 и принимает текст, изображения и аудио, выдавая текст; аудиовозможности заявлены для варианта E4B. Модель подходит для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и перевода речи в текст. Поддерживаются системные инструкции, вызов инструментов и контекст до 128 тысяч токенов; семейство Gemma 4 поддерживает множество языков, включая более 35 языков в практических сценариях. Модель рассчитана в том числе на локальное исполнение на ноутбуках и мобильных устройствах, а гибридное внимание сочетает локальные окна и глобальное внимание для работы с длинным контекстом. Возможности видео описаны для семейства в целом, но README не подтверждает их отдельно для E4B; поэтому видео не включено в модальности этой модели. Лицензия — Apache 2.0.

Mistral-Small-3.2-24B-Instruct-2506-bnb-4bit — 4-битная квантованная версия инструкционной мультимодальной модели Mistral-Small-3.2-24B-Instruct-2506 от Mistral AI. Модель предназначена для диалоговых ассистентов, выполнения инструкций, генерации текста и кода, решения STEM-задач, вызова функций и анализа изображений, документов, графиков и диаграмм. Модель содержит 24 млрд параметров и поддерживает текстово-графический сценарий image-text-to-text. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. По сравнению с Mistral-Small-3.1 улучшены следование точным инструкциям, устойчивость к повторяющимся и бесконечным генерациям, а также шаблон function calling. В тестах модель показывает сильные результаты в генерации кода, следовании инструкциям, обработке документов и диаграмм, однако в отдельных vision-бенчмарках уступает предыдущей версии. Размер контекста в README не указан. Модель рекомендуется запускать через vLLM или Transformers; для корректной работы с инструментами требуются совместимые настройки Mistral и vLLM. Квантование bnb-4bit снижает требования к памяти по сравнению с полноформатными вариантами, но точные требования для этой сборки не приведены. Для повышения качества рекомендуется низкая температура генерации и системный промпт. Лицензия — Apache-2.0.

Alignment Lab AI выпустила дообученную на инструкциях плотную языковую модель Qwen2.5 на 71,5 млрд параметров. Она предназначена для диалогов и генерации текста, включая ответы на инструкции, длинные тексты, структурированные данные и вывод в формате JSON; метаданные также отмечают интерфейс вызова инструментов. Архитектура — Qwen2ForCausalLM с RoPE, SwiGLU, RMSNorm и групповым запросным вниманием. Модель принимает текст и генерирует текст. Карточка заявляет поддержку более 29 языков, включая русский и английский. Контекст в конфигурации репозитория составляет 32 768 токенов; для обработки до 131 072 токенов README описывает расширение контекста с помощью YaRN. Генерация может достигать 8 192 токенов. Модель подходит для многоязычных чат-ботов, работы с кодом и математикой, длинных текстов и структурированных ответов. Для контекстов свыше 32 768 токенов требуется настройка YaRN; её статический коэффициент масштабирования в vLLM может снижать качество или производительность на коротких текстах. Лицензия указана как other, поэтому условия использования следует проверять в файлах репозитория.

Карточка модели adrianxu9778/Qwen2.5-7B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.

Карточка модели aertsimon90/Qwen2.5-7B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.