II.4Отладка, тестирование и качество ПО

unsloth/Qwen3-30B-A3B-GGUF — GGUF-версия модели Qwen3-30B-A3B, разработанной командой Qwen компании Alibaba Cloud и подготовленной Unsloth. Это причинная языковая модель архитектуры Mixture-of-Experts (MoE), предназначенная для диалогов, следования инструкциям, генерации текста и кода, математического и логического рассуждения, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с использованием внешних инструментов. Модель поддерживает переключение между режимами рассуждения и быстрого ответа с помощью инструкций /think и /no_think. Она обучалась на этапах предварительного обучения и постобучения, содержит 30,5 млрд параметров, из которых активируется 3,3 млрд, 48 слоёв, 128 экспертов и 8 активируемых экспертов. Использует GQA с 32 головами для Q и 4 для KV. Нативная длина контекста составляет 32 768 токенов, а с YaRN заявлена поддержка до 131 072 токенов. Модель ориентирована более чем на 100 языков и диалектов; в метаданных README отдельно указан английский язык. К сильным сторонам относятся сочетание качества рассуждений и экономичности MoE-архитектуры, поддержка многоязычного следования инструкциям, широкий спектр прикладных задач и возможность запуска в GGUF-совместимых инструментах, включая llama.cpp и Ollama. Ограничения включают зависимость характеристик от конкретной GGUF-квантизации и программного окружения; точные параметры квантизации, требования к памяти и результаты бенчмарков в предоставленном README не указаны. Лицензия — Apache-2.0.

Qwen3-30B-A3B-GPTQ-Int4 — квантизированная 4-битная версия генеративной языковой модели Qwen3-30B-A3B, разработанной командой Qwen. Это авторегрессионная causal language model на архитектуре mixture-of-experts (MoE), предназначенная для генерации и обработки текста, диалогов, следования инструкциям, математического рассуждения, программирования, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с использованием внешних инструментов. Модель содержит 30,5 млрд параметров, из которых при обработке одного токена активируется около 3,3 млрд; число неэмбеддинговых параметров составляет 29,9 млрд. Она включает 48 слоёв, использует Grouped Query Attention с 32 головами запросов и 4 головами ключей и значений, а также 128 экспертов, из которых активируются 8. Нативная длина контекста — 32 768 токенов, с использованием YaRN заявлена поддержка до 131 072 токенов. Модель поддерживает более 100 языков и диалектов. Ключевая особенность Qwen3 — переключение между режимом рассуждения и обычным режимом без рассуждения в рамках одной модели. Режим рассуждения подходит для сложных логических задач, математики и кода, а обычный режим — для более эффективного общего диалога. GPTQ-квантизация Int4 снижает требования к памяти и облегчает развёртывание, однако может сопровождаться потерей качества по сравнению с полноразмерной версией; конкретные аппаратные требования и производительность зависят от среды запуска. Для работы рекомендуется актуальная версия Transformers, также заявлена совместимость с SGLang и vLLM. Модель распространяется по лицензии Apache-2.0. README не содержит подробных результатов бенчмарков, полного перечня поддерживаемых языков или точных требований к оборудованию.

stelterlab/Qwen3-30B-A3B-Instruct-2507-AWQ — квантизированная версия модели Qwen3-30B-A3B-Instruct-2507, разработанной Qwen AI. Это авторегрессионная языковая модель на базе архитектуры Mixture-of-Experts с 30,5 млрд параметров, из которых 3,3 млрд активируются при обработке одного токена. Модель содержит 48 слоёв, использует Grouped Query Attention с 32 головами запросов и 4 KV-головами, а также 128 экспертов, из которых активны 8. Контекст поддерживается до 262 144 токенов. Модель предназначена для генерации и понимания текста, следования инструкциям, логического рассуждения, математики, научных и технических задач, программирования, использования инструментов, творческого письма и работы с длинными документами. Она поддерживает множество языков и ориентирована на улучшенное покрытие редких знаний и более качественное выполнение субъективных и открытых заданий. Модель работает только в режиме без рассуждений и не формирует блоки <think></think>. В данном репозитории веса преобразованы в формат AWQ с INT4 GEMM с использованием llm-compressor; квантизацию выполнила stelterlab. Это экспериментальная сборка, протестированная с vLLM 0.9.2, поэтому совместимость и качество инференса могут зависеть от используемого программного стека. Квантизация снижает требования к памяти по сравнению с полноточными весами, но может приводить к некоторой потере качества. Модель распространяется по лицензии Apache-2.0.

JunHowie/Qwen3-8B-GPTQ-Int8 — это квантизированная версия языковой модели Qwen3-8B, основанной на семействе Qwen, разработанном командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, многоязычного общения, перевода и сценариев с интеграцией внешних инструментов. Она поддерживает более 100 языков и диалектов, а также переключение между режимами рассуждения и обычной генерации. В основе лежит каузальная языковая модель с 8,2 млрд параметров, 36 слоями и архитектурой Grouped-Query Attention: 32 головы для запросов и 8 для ключей и значений. Нативная длина контекста составляет 32 768 токенов, с использованием YaRN заявлена поддержка до 131 072 токенов. Эта версия сжата до 8-битного представления с размером группы 128; настройка desc_act=False повышает эффективность по скорости генерации токенов по сравнению с более ранними квантизированными вариантами. Основные ограничения связаны с потерями, возможными при квантизации, а также с необходимостью совместимого программного окружения: в README рекомендован vLLM версии 0.9.2 или новее. Модель распространяется по лицензии Apache-2.0.

unsloth/gemma-4-31B-it — это инструкционно настроенная мультимодальная модель семейства Gemma 4, представленная Unsloth на базе google/gemma-4-31B-it. Она предназначена для диалогов, рассуждений, программирования, агентных сценариев и анализа изображений. Модель принимает текст и изображения и выдаёт текст; поддерживает интерфейс вызова инструментов. В основе лежит плотная архитектура Gemma4ForConditionalGeneration с чередованием локального скользящего и глобального внимания. Для версии 31B заявлено контекстное окно до 256 тысяч токенов. Семейство поддерживает более 35 языков, но основной язык именно этой модели отдельно не выделен. Заявленные сценарии работы с изображениями включают OCR, извлечение данных из документов, понимание диаграмм и интерфейсов, распознавание объектов и анализ видеокадров; аудиовозможности относятся только к моделям E2B и E4B. Модель подходит для составления ответов по изображениям и документам, суммаризации, генерации и исправления кода, а также построения диалоговых и агентных приложений. Ответы могут содержать фактические ошибки; качество зависит от формулировки запроса и обучающих данных, а тонкие языковые нюансы могут быть сложны для модели. Лицензия — Apache 2.0.

nvidia/Gemma-4-31B-IT-NVFP4 — мультимодальная модель для генерации текста, разработанная Google DeepMind на базе Gemma 4 31B IT и квантизированная NVIDIA с помощью Model Optimizer. NVIDIA не является разработчиком исходной модели. Модель предназначена для чат-ботов и диалоговых систем, суммаризации, извлечения данных из изображений, рассуждений, программирования, мультимодального анализа, function calling, исследовательских и образовательных сценариев. Модель построена на архитектуре Transformer Gemma 4 и содержит около 30,7 млрд параметров при размере словаря 262 144 токена. Она принимает текст, изображения и видео, включая видео в форматах MP4 и WebM продолжительностью до 60 секунд с частотой один кадр в секунду, а генерирует текст. Поддерживаются переменные соотношения сторон и разрешения изображений, настраиваемые бюджеты визуальных токенов от 70 до 1120, контекст до 256 тысяч токенов и более 140 языков. Архитектура использует гибридное внимание с локальными sliding-window и глобальными слоями, едиными Keys и Values в глобальных слоях и Proportional RoPE для работы с длинным контекстом. NVFP4-квантизация весов и активаций рассчитана на инференс через vLLM на NVIDIA Blackwell и Linux. По приведённым результатам NVFP4 сохраняет близкие к BF16 показатели на GPQA Diamond, AIME 2025, MMLU Pro, LiveCodeBench и Scicode, однако точные характеристики зависят от оборудования и сценария использования. Модель версии 1.0 была квантизирована с помощью nvidia-modelopt 0.42.0; для калибровки использовался англоязычный датасет CNN/DailyMail. Указана лицензия Apache License 2.0 с условиями Gemma. Для запуска заявлена интеграция с vLLM и тестирование на NVIDIA Hopper H100.

Карточка модели Openintelligent123/gemma-4-E4B на Hugging Face совпадает с карточкой google/gemma-4-E4B, поэтому описание составлено по ней. Gemma 4 E4B — мультимодальная плотная модель семейства Gemma, разработанная Google DeepMind и представленная в виде весов с лицензией Apache 2.0. Она принимает текст, изображения и аудио и генерирует текст; аудиовозможности включают распознавание речи и перевод речи в текст. Модель рассчитана на запуск на мобильных устройствах и ноутбуках, а также на диалоговые сценарии, рассуждения, программирование и работу с инструментами. Архитектура реализует гибридное внимание: чередует локальные окна внимания с глобальным вниманием. Для E4B заявлено контекстное окно до 128 тысяч токенов. Модель понимает изображения, в том числе документы, графики и интерфейсы, а также аудио; семейство Gemma 4 поддерживает более 140 языков при обучении и более 35 языков при использовании. Карточка описывает семейство в целом, поэтому отдельные языковые возможности E4B могут зависеть от задачи и конфигурации.

Granite-3.0-8B-Instruct — языковая модель команды Granite компании IBM для ответов на инструкции и создания диалоговых ассистентов, в том числе для бизнес-приложений. Она дообучена на базе ibm-granite/granite-3.0-8b-base с использованием открытых наборов инструкций, синтетических данных, supervised fine-tuning, выравнивания с помощью обучения с подкреплением и объединения моделей. Модель представляет собой плотный decoder-only трансформер на 8,2 млрд параметров с архитектурой Granite; в ней используются GQA, RoPE, SwiGLU и RMSNorm. Она принимает текст и генерирует текст, поддерживает структурированный формат чата и интерфейс вызова инструментов. Длина контекста — 4096 токенов. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и многоязычного диалога. Качество на языках помимо английского может быть ниже; ответы могут быть неточными, предвзятыми или небезопасными, поэтому для конкретного применения нужны проверка и настройка. Лицензия — Apache 2.0.

RedHatAI/Llama-3.3-70B-Instruct — инструктивная языковая модель Meta, распространяемая Red Hat AI. Это плотная авторегрессионная модель семейства Llama на архитектуре Transformer с 69,5 млрд параметров, обученная для следования инструкциям и диалогов; настройка включает supervised fine-tuning и обучение с обратной связью от людей. Модель принимает текст и генерирует текст, в том числе код, поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. Модель предназначена для многоязычных диалоговых ассистентов, генерации текста и кода, а также коммерческих и исследовательских сценариев. В карточке указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель статична и обучена на офлайн-данных; знания ограничены данными обучения с отсечкой декабря 2023 года. Для вызова внешних инструментов требуется интеграция со стороны приложения. Использование регулируется пользовательским соглашением Llama 3.3 Community License и соответствующей политикой допустимого использования.

stelterlab/Mistral-Small-3.2-24B-Instruct-2506-FP8 — экспериментальная FP8 W8A8-квантизированная версия Mistral-Small-3.2-24B-Instruct-2506, разработанная stelterlab с использованием llm-compressor. Базовая модель создана Mistral AI. Формат FP8 предназначен для запуска модели с меньшими требованиями к памяти и вычислительным ресурсам при сохранении основных возможностей исходной модели. Модель рассчитана на выполнение инструкций, диалоговые сценарии, генерацию текста, решение задач STEM, программирование, работу с изображениями и вызов функций. Она поддерживает текстово-изобразительный ввод и заявлена для английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. По сравнению с версией 3.1 улучшены следование точным инструкциям, устойчивость к бесконечным повторениям и function calling; для сервинга рекомендуется vLLM. К ограничениям относятся экспериментальный статус FP8-квантизации и отсутствие в предоставленных данных сведений о точном размере контекста и детальной архитектуре. Качество может немного отличаться от полной версии модели, а по отдельным vision-бенчмаркам зафиксировано небольшое снижение результатов. Модель распространяется по лицензии Apache-2.0.

Карточка модели adrianxu9778/Qwen2.5-7B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.

Карточка модели aertsimon90/Qwen2.5-7B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.

Карточка модели sana17041996/Qwen2.5-7B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.

qwp4w3hyb/Qwen2-72B-Instruct-iMat-GGUF — это квантованная GGUF-версия инструкционно дообученной языковой модели Qwen2-72B-Instruct, разработанной командой Qwen/Tongyi Qianwen. Модель предназначена для диалогов, генерации и понимания текста, решения задач рассуждения, программирования, математики и работы с многоязычными запросами. Модель основана на архитектуре Transformer с активацией SwiGLU, смещениями в QKV внимания, group query attention и токенизатором, адаптированным к естественным языкам и коду. Размер модели — 72 миллиарда параметров. Указана поддержка контекста до 131 072 токенов с применением YARN для обработки длинных текстов. Модель работает в текстовой модальности; в карточке явно указан английский язык, при этом оригинальная модель заявляет многоязычные возможности. Доступен широкий набор квантований от Q8_0 до IQ1_S, выполненных с использованием importance matrix для снижения потерь точности при квантовании. Сильные стороны модели — большой размер, расширенный контекст, широкий выбор уровней квантования и заявленная конкурентоспособность в понимании и генерации текста, кодировании, математике и рассуждениях. Ограничения включают высокие требования к вычислительным ресурсам для крупных вариантов квантования и возможное снижение точности у более агрессивных вариантов. Для развёртывания длинного контекста рекомендуется vLLM с настройкой YARN. Лицензия указана как other; в качестве лицензионного соглашения приведена Tongyi Qianwen.

Qwen3 — семейство языковых моделей, разработанное и выпущенное командой Qwen. Модели предназначены для генерации текста, диалогов, следования инструкциям, сложного рассуждения, использования инструментов и агентских сценариев. Они могут применяться в исследовательских ассистентах, системах генерации кода, корпоративных чат-ботах и многошаговых многоходовых диалогах. В семейство входят варианты размером 0,6B, 1,7B, 4B, 8B, 14B, 32B и 30B-A3B; для них доступны различные квантованные версии в формате GGUF. Qwen3 поддерживает переключение между режимами с рассуждением и без рассуждения, длинный контекст и многоязычную работу. Конкретные параметры архитектуры, длина контекста и перечень языков в README не указаны. Модель относится к категории text-generation и распространяется по лицензии Apache 2.0. Конвертацию выполнила Menlo Research.

JunHowie/Qwen3-14B-GPTQ-Int4 — это 4-битная GPTQ-квантизированная версия большой языковой модели Qwen3-14B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, творческого письма, перевода и многоязычных сценариев, включая интеграцию с внешними инструментами и агентами. Модель использует каузальную языковую архитектуру и содержит около 14,8 млрд параметров, из которых 13,2 млрд приходятся на параметры без учёта эмбеддингов. Она имеет 40 слоёв и групповое многоголовое внимание с 40 головами для запросов и 8 для ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Поддерживаются более 100 языков и диалектов. Qwen3 позволяет переключаться между режимами рассуждения и обычной генерации. Квантизация выполнена в формат GPTQ Int4 с размером группы 128. По данным README, настройка desc_act=False повышает эффективность по скорости генерации токенов по сравнению с более ранними квантизированными версиями, что делает модель более подходящей для ресурсоограниченного развертывания. Для запуска рекомендуется vLLM версии 0.9.2 или новее; также заявлена совместимость с экосистемой vLLM и другими инструментами локального инференса. Ограничения включают возможное снижение точности из-за 4-битной квантизации, а также высокие требования к вычислительным ресурсам при использовании длинного контекста и режима рассуждения. Модель распространяется по лицензии Apache-2.0.

Qwen3-235B-A22B-GPTQ-Int4 — квантизированная 4-битная версия крупной языковой модели Qwen3-235B-A22B, разработанная командой Qwen. Это авторегрессионная causal language model с архитектурой mixture-of-experts (MoE): 235 млрд параметров всего, из которых 22 млрд активируются при генерации. Модель имеет 94 слоя, 128 экспертов, 8 активируемых экспертов, а также Grouped Query Attention с 64 головами Q и 4 головами KV. Модель предназначена для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, ролевых сценариев, многошаговых диалогов и агентских задач с использованием внешних инструментов. Она поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Доступно переключение между режимом reasoning для сложных задач и non-thinking для более эффективного общего общения в рамках одной модели. Нативная длина контекста составляет 32 768 токенов, а с использованием YaRN может достигать 131 072 токенов. GPTQ-квантизация Int4 снижает требования к памяти, однако модель остаётся очень крупной и требует специализированной инфраструктуры; в README отмечены проблемы Transformers с мног GPU-инференсом и рекомендованы SGLang или vLLM. Для режима reasoning рекомендуется использовать заданные параметры сэмплирования и не применять жадное декодирование, поскольку это может ухудшать качество и приводить к повторениям. Модель распространяется под лицензией Apache 2.0. README не содержит подробных результатов бенчмарков, требований к конкретному оборудованию или измерений производительности.

Eslzzyl/Qwen3-4B-Instruct-2507-AWQ — квантованная версия instruct-модели Qwen3-4B-Instruct-2507, разработанной командой Qwen и опубликованной пользователем Eslzzyl. Модель предназначена для генерации текста, диалогов и выполнения инструкций, включая задачи логического рассуждения, понимания текста, математики, науки, программирования, использования инструментов и агентских сценариев. Это каузальная языковая модель примерно с 4 млрд параметров, из которых 3,6 млрд не относятся к embedding-слою. Она содержит 36 слоёв и использует Grouped-Query Attention с 32 головами Q и 8 головами KV. Поддерживает контекст до 262 144 токенов, работает только в non-thinking-режиме и не формирует блоки <think></think>. Модель ориентирована на многоязычные задачи и показывает улучшения в следовании инструкциям, открытой генерации, знаниях, рассуждениях, кодировании и tool calling. Версия AWQ квантизована с помощью AutoAWQ, что может снизить требования к памяти и облегчить развёртывание. Она совместима с NVIDIA Turing GPU с SM 75 и может использоваться через lmdeploy; для исходной модели также указана поддержка современных Transformers, vLLM и SGLang. Ограничениями являются отсутствие режима пошагового рассуждения и потенциально высокие требования к памяти при максимальном контексте, которые можно уменьшить сокращением длины контекста. Лицензия — Apache 2.0.

Карточка модели tangyunbo/Qwen3-4B-RL-multiscope-fromscratch-iter297 на Hugging Face совпадает с карточкой Qwen/Qwen3-4B-Instruct-2507, поэтому описание составлено по ней. Qwen3-4B-Instruct-2507 — плотная причинно-языковая модель семейства Qwen3, разработанная командой Qwen. Это обновлённая версия Qwen3-4B в режиме без рассуждений: модель обучена следовать инструкциям и вести диалог, а также поддерживает интерфейс вызова инструментов. В репозитории указано 4,0 млрд параметров, метаданные Hugging Face указывают 3,7 млрд; нативная длина контекста составляет 262 144 токена. Модель предназначена для генерации ответов, понимания текста, логических и математических задач, вопросов по естественным наукам, программирования и работы с инструментами. Большое окно контекста подходит для анализа длинных документов и диалогов; заявлена поддержка нескольких языков и улучшенное покрытие редких знаний. Модель принимает текст и выдаёт текст. В README отмечены улучшения следования инструкциям, рассуждений, генерации текста и работы с длинным контекстом. Модель работает только в режиме без рассуждений и не выводит блоки рассуждений. Лицензия — Apache-2.0.

Карточка модели tangyunbo/RL-fromscratch на Hugging Face совпадает с карточкой Qwen/Qwen3-4B-Instruct-2507, поэтому описание составлено по ней. Qwen3-4B-Instruct-2507 — плотная причинно-языковая модель семейства Qwen3, разработанная командой Qwen. Это обновлённая версия Qwen3-4B в режиме без рассуждений: модель обучена следовать инструкциям и вести диалог, а также поддерживает интерфейс вызова инструментов. В репозитории указано 4,0 млрд параметров, метаданные Hugging Face указывают 3,7 млрд; нативная длина контекста составляет 262 144 токена. Модель предназначена для генерации ответов, понимания текста, логических и математических задач, вопросов по естественным наукам, программирования и работы с инструментами. Большое окно контекста подходит для анализа длинных документов и диалогов; заявлена поддержка нескольких языков и улучшенное покрытие редких знаний. Модель принимает текст и выдаёт текст. В README отмечены улучшения следования инструкциям, рассуждений, генерации текста и работы с длинным контекстом. Модель работает только в режиме без рассуждений и не выводит блоки рассуждений. Лицензия — Apache-2.0.

Карточка модели lamm-mit/google-gemma-4-E4B-it на Hugging Face совпадает с карточкой google/gemma-4-E4B, поэтому описание составлено по ней. Gemma 4 E4B — мультимодальная плотная модель семейства Gemma, разработанная Google DeepMind и представленная в виде весов с лицензией Apache 2.0. Она принимает текст, изображения и аудио и генерирует текст; аудиовозможности включают распознавание речи и перевод речи в текст. Модель рассчитана на запуск на мобильных устройствах и ноутбуках, а также на диалоговые сценарии, рассуждения, программирование и работу с инструментами. Архитектура реализует гибридное внимание: чередует локальные окна внимания с глобальным вниманием. Для E4B заявлено контекстное окно до 128 тысяч токенов. Модель понимает изображения, в том числе документы, графики и интерфейсы, а также аудио; семейство Gemma 4 поддерживает более 140 языков при обучении и более 35 языков при использовании. Карточка описывает семейство в целом, поэтому отдельные языковые возможности E4B могут зависеть от задачи и конфигурации.

Granite-4.1-3B — инструктивная языковая модель IBM Granite Team для диалогов и создания ИИ-ассистентов. Это дообученная версия Granite-4.1-3B-Base с 3,4 млрд параметров, построенная на плотном декодерном трансформере; метаданные указывают библиотеку Transformers и контекст до 131 072 токенов. Модель принимает текст и генерирует текст, поддерживает чат и вызов инструментов. Модель предназначена для следования инструкциям и задач общего назначения, включая суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, программирование, заполнение пропусков в коде и многоязычный диалог. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; основная часть инструкционных данных — англоязычная. В карточке отмечены улучшения следования инструкциям, диалоговых возможностей и вызова инструментов после supervised fine-tuning и RL-выравнивания. Модель распространяется по лицензии Apache 2.0. Возможны неточные, предвзятые или небезопасные ответы; качество на других языках может уступать английскому, поэтому для прикладного использования нужны проверка и настройка под задачу.

RedHatAI/Mistral-Small-24B-Instruct-2501-quantized.w8a8 — квантизированная INT8-версия Mistral-Small-24B-Instruct-2501, разработанная Red Hat совместно с Neural Magic. Модель предназначена для генерации текста и поддерживает текстовые и визуальные входные данные с текстовым выводом. Заявленные сценарии включают диалоговых агентов с быстрым откликом, вызов функций с низкой задержкой, программирование, математическое рассуждение, анализ длинных документов, визуальное понимание, локальный инференс и специализированные решения после дообучения. Модель имеет архитектуру Mistral3ForConditionalGeneration и содержит 24 млрд параметров в базовой версии. Веса и активации линейных операторов в трансформерных блоках квантизированы до INT8: для весов используется статическая симметричная поканальная схема, для активаций — динамическая симметричная потокенная схема. При заявленных характеристиках это примерно вдвое снижает требования к памяти GPU и размер файлов весов, а также может увеличить производительность матричных умножений примерно в два раза. Квантизация выполнена с использованием SmoothQuant и GPTQ через библиотеку llm-compressor. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Модель валидирована с RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4; в документации приведён контекст до 32768 токенов. Ограничения включают возможное снижение точности из-за квантизации и запрет использования с нарушением применимых законов и в неподдерживаемых языках. Лицензия — Apache 2.0.

NVIDIA Nemotron-3-Super-120B-A12B-NVFP4 — большая языковая модель NVIDIA для диалогов, рассуждений и построения агентных систем. Она предназначена для чат-ботов, RAG-приложений, совместно работающих агентов и высоконагруженных сценариев, включая автоматизацию ИТ-заявок, а также для сложного следования инструкциям и анализа длинного контекста. Модель использует гибридную архитектуру LatentMoE: слои Mamba-2 чередуются со слоями Mixture-of-Experts и отдельными слоями внимания. Всего в модели 120 млрд параметров, из которых активны 12 млрд; предусмотрены слои Multi-Token Prediction для ускорения генерации. Веса обучены с применением NVFP4, а заявленная длина контекста достигает 1 млн токенов. Модель поддерживает английский, французский, немецкий, итальянский, японский, испанский и китайский языки, а также задачи с кодом. Модель дообучена для диалогов, рассуждений, работы с инструментами, инструкциями и структурированными ответами; карточка сообщает о готовности к коммерческому использованию. Указана лицензия other, поэтому конкретные условия коммерческого применения следует сверить с лицензией репозитория. Возможности работы с изображениями, аудио или видео не заявлены; качество ответов зависит от задачи и используемой конфигурации вывода.

Карточка модели tech32432/Qwen2.5-7B-Instruct-IA-Author-Model на Hugging Face совпадает с карточкой Qwen/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.

lmstudio-community/Qwen3-30B-A3B-GGUF — квантованная в формате GGUF версия модели Qwen3-30B-A3B, разработанной командой Qwen. Квантование выполнено bartowski на базе llama.cpp, релиз b5200. Модель распространяется по лицензии Apache-2.0. Это Mixture-of-Experts-модель с 30 млрд общих параметров, из которых при обработке активируются около 3,3 млрд; всего используется 128 экспертов, из них 8 активны одновременно. Поддерживается контекст до 131 072 токенов с применением YaRN, при этом значение по умолчанию составляет 32 000 токенов. Модель работает в режимах с рассуждением и без него; режим рассуждения можно отключить добавлением /no_think в конец запроса. Модель предназначена для генерации текста, следования инструкциям, многоходовых диалогов, творческого письма, ролевых сценариев, программирования, математики, задач на здравый смысл и агентных применений. Она поддерживает более 100 языков и диалектов. К сильным сторонам относятся расширенные способности к рассуждению, широкий языковой охват и сравнительно эффективная активация параметров благодаря архитектуре MoE. Ограничения включают возможные ошибки, неточности и нежелательное содержание, характерные для генеративных моделей, а также потенциальное снижение качества из-за квантования; конкретные параметры квантования в README не указаны.

lmstudio-community/Qwen3-32B-GGUF — квантизированная версия языковой модели Qwen3-32B, разработанной командой Qwen. Формат GGUF подготовлен bartowski на основе llama.cpp, релиз b5200. LM Studio распространяет эту модель в рамках общественной программы, но не является её разработчиком. Модель предназначена для генерации текста, следования инструкциям, многоходовых диалогов, творческого письма, ролевых сценариев, программирования, математических задач и рассуждений общего назначения. Поддерживаются режимы с рассуждением и без него; режим /no_think позволяет отключить рассуждения добавлением соответствующего параметра в конец запроса. Заявлена поддержка более 100 языков и диалектов, а также агентских сценариев. Модель имеет 32 млрд параметров и поддерживает контекст до 131 072 токенов с использованием YaRN; значение по умолчанию составляет 32 000 токенов. К ключевым преимуществам относятся расширенные возможности рассуждения, программирования, математики, диалогового взаимодействия и следования инструкциям. Ограничения включают возможные неточные, вредные или неподходящие ответы, а также отсутствие в README сведений о точном уровне квантизации, требованиях к оборудованию и характеристиках производительности. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-4B-f32-GGUF — это набор GGUF-файлов с версиями модели Qwen3.5-4B, разработанной командой Alibaba Qwen и представленной в репозитории prithivMLmods. Модель представляет собой плотную мультимодальную causal language model примерно с 4 млрд параметров и встроенным vision-энкодером. Она предназначена для генерации и понимания текста, анализа изображений и видео, OCR, решения математических задач, программирования и агентских сценариев. Архитектура включает 32 слоя с гибридной схемой Gated DeltaNet и Gated Attention, размером скрытого состояния 2560 и словарём на 248 тысяч токенов для 201 языка. Заявлена поддержка контекста до 262 тысяч токенов с возможностью расширения свыше 1 млн токенов, а также переключаемый режим рассуждений для выбора между более глубоким анализом и быстрой генерацией. В комплект входят варианты BF16, F16, F32, Q8_0 и отдельные мультимодальные проекционные файлы mmproj; размеры файлов варьируются примерно от 367 МБ до 16,8 ГБ. К сильным сторонам относятся мультимодальность без необходимости в отдельном VL-компоненте, большой контекст, многоязычность и возможность запуска на ограниченных ресурсах: в README указано около 8 ГБ VRAM для BF16 и примерно 3 ГБ для 4-битной версии. К ограничениям относятся различия в качестве и размере квантованных вариантов, а также компромисс между скоростью и качеством рассуждений. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen3-Next-80B-A3B-Instruct-bnb-4bit — 4-битная версия инструкционной causal language model Qwen3-Next-80B-A3B-Instruct, опубликованная Unsloth на основе модели Qwen. Она предназначена для генерации текста по инструкциям, решения задач на знания и рассуждения, программирования, написания текстов, многоязычных сценариев и агентских задач с вызовом функций. Модель работает только в instruct-режиме и не формирует блоки <think></think>. Архитектура сочетает Hybrid Attention на основе Gated DeltaNet и Gated Attention с разреженной Mixture-of-Experts. Всего модель содержит 80 млрд параметров, из которых около 3 млрд активируются на токен; число слоёв — 48, экспертов — 512, активных экспертов — 10. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Указаны обучение на 15 трлн токенов, Multi-Token Prediction и оптимизации стабильности. 4-битное представление снижает требования к памяти по сравнению с полной версией, однако README не приводит точные требования к оборудованию и сведения о поддерживаемых языках. Сильные стороны модели — высокая параметрическая эффективность, потенциально высокая скорость инференса, работа с очень длинным контекстом и результаты, сопоставимые с более крупной Qwen3-235B-A22B-Instruct-2507 на отдельных тестах. Ограничение состоит в том, что модель предназначена только для инструкционного, нерассуждающего режима; характеристики конкретной 4-битной квантованной сборки могут отличаться от результатов исходной модели. Лицензия — Apache-2.0.

Qwen-SEA-LION-v4.5-27B-IT-FP8-Dynamic — динамически квантованная версия модели Qwen-SEA-LION-v4.5-27B-IT. Базовая модель разработана AI Products Pillar организации AI Singapore, а квантование выполнил toeniant с использованием llmcompressor и схемы FP8_DYNAMIC. Модель предназначена для мультиязычного понимания и генерации текста, рассуждений, программирования, агентских сценариев, работы с репозиториями и визуально-текстовых задач. Модель содержит около 27 млрд параметров и построена на плотной архитектуре Qwen3.6-27B с гибридным дизайном Linear Attention и Full Attention. Она оснащена vision encoder и поддерживает единое мультимодальное взаимодействие с текстом и изображениями. Контекстное окно составляет 262 тысячи токенов. Поддерживаются английский, бирманский, индонезийский, филиппинский, малайский, тамильский, тайский и вьетнамский языки. Квантирование per-tensor dynamic FP8 в формате w8a8 уменьшает размер примерно с 54,5 до 29,5 ГБ, при этом, согласно README, практически не снижает точность относительно BF16; для инференса рекомендуется vLLM версии 0.7 или выше с включённым FP8. К сильным сторонам относятся большой контекст, мультиязычная и мультимодальная обработка, настраиваемые режимы рассуждения и высокая эффективность по памяти благодаря FP8. Ограничения включают отсутствие специального safety-alignment, риск галлюцинаций и нерелевантных ответов; результаты необходимо проверять, а безопасность дополнительно настраивать самостоятельно. Модель распространяется по лицензии MIT.