I.11Классификация, ранжирование и сопоставление

Qwen3.5-2B-MTP-GGUF — набор GGUF-файлов, подготовленный prithivMLmods на основе Qwen3.5-2B от команды Qwen компании Alibaba. Это компактная плотная мультимодальная модель примерно на 2 млрд параметров с поддержкой текста, изображений и видео. Модель ориентирована на локальный запуск на потребительском оборудовании и доступна в вариантах от Q2_K до BF16, а также с отдельными мультимодальными проекторами mmproj. Архитектура включает 24 слоя с гибридным сочетанием Gated DeltaNet и Gated Attention, скрытым размером 2048, 8 Q-heads и 2 KV-heads с размерностью головы 256. Заявлены словарь на 248 тысяч токенов, поддержка 201 языка и нативное контекстное окно 262 тысячи токенов с возможностью расширения свыше 1 млн токенов через YaRN. Формат MTP добавляет несколько выходных голов для предсказания будущих токенов и может ускорять спекулятивное декодирование без отдельной draft-модели. Модель предназначена для мультиязычных чат-ботов, визуальных вопросов и ответов, OCR, разбора документов, агентских сценариев, вызова инструментов и генерации кода для интерфейсов. Среди заявленных характеристик — режим пошагового рассуждения, поддержка vLLM, Ollama и llama.cpp, а также показатели 78,6% на IFEval, 66,5% на MMLU-Pro с включённым режимом рассуждения, 84,5% на OCRBench и 75,6% на VideoMME. Преимуществами являются малый размер, мультимодальность и широкий контекст; итоговое качество, скорость и требования к памяти зависят от выбранного типа квантизации, а для работы с изображениями и видео требуются соответствующие файлы mmproj. Распространяется по лицензии Apache 2.0.

JunHowie/Qwen3-8B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия языковой модели Qwen3-8B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, математических и логических задач, творческого письма, ролевого общения, перевода и сценариев с использованием внешних инструментов. Она поддерживает переключение между режимом рассуждений и обычным режимом генерации в рамках одной модели. Модель построена как causal language model и содержит около 8,2 млрд параметров, из которых 6,95 млрд не относятся к embedding-слою. Архитектура включает 36 слоёв и grouped-query attention с 32 головами Q и 8 головами KV. Базовый контекст составляет 32 768 токенов, а с использованием YaRN заявлена поддержка до 131 072 токенов. Qwen3 заявляет поддержку более 100 языков и диалектов, включая мультиязычное следование инструкциям и перевод. Квантизация выполнена в 4-битном формате с размером группы 128. По сравнению с более ранними квантизованными версиями заявлена повышенная эффективность по числу токенов в секунду благодаря параметру desc_act=False. Квантизация снижает требования к памяти и подходит для локального или серверного развёртывания, однако может приводить к потере качества по сравнению с полной точностью; конкретные показатели качества и требования к оборудованию в README не приведены. Для работы рекомендуется vLLM версии 0.9.2 или новее. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen3-VL-8B-Instruct-FP8 — мультимодальная vision-language модель серии Qwen3-VL, разработанная на базе Qwen3-VL-8B-Instruct и опубликованная Unsloth. Это FP8-квантизированная версия с мелкозернистой квантизацией и размером блока 128; заявлено, что её показатели почти идентичны исходной версии в формате BF16. Модель предназначена для понимания и генерации текста по тексту, изображениям и видео. Она поддерживает визуальное распознавание, OCR, анализ документов, пространственное и STEM-рассуждение, понимание длительных видео, генерацию HTML/CSS/JS и Draw.io по визуальным материалам, а также взаимодействие с графическими интерфейсами и инструментами. Заявлены контекст до 256 тысяч токенов с возможностью расширения до 1 миллиона, улучшенная работа с временной структурой видео и OCR для 32 языков. К архитектурным особенностям относятся плотная модель на 8 млрд параметров, визуальный энкодер ViT, механизмы Interleaved-MRoPE для позиционного кодирования времени, ширины и высоты, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками. Сильными сторонами являются сочетание текстового, визуального и видеоанализа, длинный контекст, пространственное рассуждение и сохранение качества после квантизации. Ограничение состоит в том, что на момент публикации веса нельзя напрямую загружать через Transformers; для развертывания рекомендуются vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.

Yi-1.5-34B-Chat-16K — диалоговая языковая модель от 01.AI, основанная на архитектуре Llama и содержащая 33,9 млрд параметров. Она предназначена для генерации ответов в чате, следования инструкциям, понимания языка и чтения текстов; в семействе Yi-1.5 также заявлено улучшение навыков программирования, математики и рассуждений. Модель непрерывно предобучали на Yi на корпусе из 500 млрд токенов, а затем дообучили на 3 млн разнообразных примеров; для этой версии заявлен контекст до 16 384 токенов. Модель принимает и генерирует текст. README не уточняет список поддерживаемых естественных языков. Репозиторий содержит веса в формате safetensors, а лицензия — Apache-2.0. Практическое применение требует ресурсов, соответствующих модели с 33,9 млрд параметров; конкретные требования к оборудованию и сравнительные результаты для версии 16K в предоставленных данных не приведены.

Apriel-5B-Instruct — языковая модель общего назначения от ServiceNow AI, дообученная на Apriel-5B-Base с помощью продолженного предобучения, supervised fine-tuning и этапов выравнивания DPO и RLVR. Это плотный авторегрессионный Transformer-декодер с grouped-query attention и позиционными эмбеддингами YARN; в репозитории указаны 4,6 млрд параметров и контекст до 16 384 токенов. Веса опубликованы в формате safetensors и доступны по лицензии MIT. Модель предназначена для диалога и следования инструкциям, ответов на вопросы, генерации и краткого изложения текста, помощи с кодом, логических рассуждений и творческого письма. Она поддерживает структурированные диалоги и сценарии вызова инструментов. Основной язык — английский; качество на менее представленных языках может быть ниже. Модель может выдавать фактически неверные, вводящие в заблуждение или устаревшие ответы и отражать смещения обучающих данных. Её не следует применять в критически важных сценариях без проверки человеком и дополнительных мер защиты; для медицинских, юридических и финансовых решений она не подходит без специальных safeguards.

Apriel-Nemotron-15b-Thinker — языковая модель рассуждений из серии Apriel SLM, разработанная ServiceNow. Это плотная авторегрессионная модель на архитектуре Mistral с 15 млрд параметров и контекстом до 65 536 токенов; в репозитории представлены веса Safetensors для Transformers. Модель дообучена на базе Apriel-15b-base в три этапа: CPT, SFT и GRPO. Модель предназначена для генерации ответов с пошаговым рассуждением, помощи в программировании, логических задач, вопросов и ответов, поиска информации, следования сложным инструкциям и вызова функций в агентных и корпоративных сценариях. Карточка сообщает о конкурентных результатах на математических, кодовых, агентных и общих бенчмарках, а также об экономии памяти и токенов относительно некоторых более крупных моделей. Поддерживаются чатовый интерфейс и интерфейс вызова инструментов. Лицензия — MIT. Наиболее сильные результаты ожидаются для английского языка; качество на менее представленных языках может быть ниже. Модель может выдавать неверные или устаревшие сведения и отражать предвзятость обучающих данных, поэтому результаты требуют проверки; для высокорисковых и критически важных решений необходимы safeguards и надзор человека.

DeepHermes-3-Llama-3-3B-Preview-Abliterated — англоязычная чат-модель Nous Research, дообученная на базе NousResearch/DeepHermes-3-Llama-3-3B-Preview. Это плотная авторегрессионная модель семейства Llama с 3,2 млрд параметров и контекстом до 131 072 токенов. Она поддерживает обычный режим ответов и режим развёрнутых рассуждений, переключаемые системным промптом, а также вызов функций. Модель предназначена для рассуждений, решения сложных задач, структурированной генерации, аннотирования, оценки ответов и автоматизации. Её можно применять для программирования, исследовательской работы и поддержки принятия решений. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Суффикс «Abliterated» указывает на изменение защитного поведения, но README не описывает его механизм или результаты оценки.

unsloth/gemma-4-12b-it-NVFP4 — квантизированная версия instruction-tuned модели Gemma 4 12B, подготовленная Unsloth на базе Google Gemma 4 12B-it. Исходную модель разработала Google DeepMind. Вариант предназначен для локального запуска и дообучения, в том числе на потребительских GPU, а также для использования в vLLM и Unsloth Studio. Модель поддерживает мультимодальный ввод: текст, изображения, аудио и видео, при этом генерирует текст. Она рассчитана на генерацию текста, программирование, рассуждения, мультимодальное понимание и агентские сценарии с нативным вызовом функций. Семейство Gemma 4 поддерживает более 140 языков, режимы настраиваемого рассуждения, системные сообщения и контекст до 256 тысяч токенов для моделей среднего размера. Архитектура семейства использует гибридное внимание с чередованием локального скользящего и глобального внимания; конкретные дополнительные параметры архитектуры этой версии в карточке не указаны. NVFP4-квантизация уменьшает требования к памяти и ориентирована на эффективное выполнение, однако карточка не приводит количественных оценок влияния квантизации на качество или подробных ограничений модели. Для запуска рекомендуется vLLM с автоматическим выбором NVFP4-ядра; использование Marlin не рекомендуется из-за снижения скорости. Модель распространяется по лицензии Apache 2.0.

cyankiwi/gemma-4-26B-A4B-it-qat-AWQ-INT4 — инструкцияно дообученная мультимодальная модель семейства Gemma 4, разработанного Google DeepMind, в формате AWQ INT4 с использованием Quantization-Aware Training. Модель основана на google/gemma-4-26B-A4B-it-qat-q4_0-unquantized и предназначена для локального и серверного развёртывания с уменьшенными требованиями к памяти; размер файлов модели составляет около 17,19 ГБ. Модель принимает текст и изображения с переменным соотношением сторон и разрешением и генерирует текст. Она ориентирована на генерацию текста, программирование, рассуждения, мультимодальное понимание и агентские сценарии, включая нативный вызов функций и поддержку системных инструкций. Для варианта 26B заявлено контекстное окно до 256K токенов. Семейство поддерживает более 140 языков; в карточке явно указаны английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский. Ключевые преимущества — мультимодальность, режимы настраиваемого рассуждения, улучшенные возможности программирования и агентов, а также снижение потребления памяти благодаря QAT и INT4-квантизации при стремлении сохранить качество, близкое к bfloat16. Ограничения включают возможные потери качества из-за квантизации, требования к совместимому ПО и оборудованию, а также отсутствие в README конкретных результатов бенчмарков и детальных требований к ресурсам. Модель распространяется по лицензии Apache 2.0.

unsloth/gemma-4-E4B-it-MLX-8bit — это 8-битная MLX-версия instruction-tuned модели Gemma 4 E4B, разработанной Google DeepMind и подготовленной Unsloth для локального запуска. Модель относится к семейству открытых мультимодальных моделей Gemma 4 и предназначена для выполнения инструкций, генерации текста, рассуждений, программирования и агентских сценариев с поддержкой function calling. Модель использует плотную архитектуру с примерно 4,5 млрд эффективных параметров и 8 млрд параметров с учётом embedding-слоёв, 42 слоями и словарём размером 262 тысячи токенов. Она принимает текстовые и визуальные данные, а также аудио; генерирует текст. Для обработки контекста применяется гибридный механизм внимания с локальным sliding window размером 512 токенов и глобальным вниманием. Контекстное окно E4B составляет до 128 тысяч токенов, а мультиязычная поддержка охватывает более 140 языков. К сильным сторонам относятся мультимодальность, развитые возможности рассуждения и программирования, поддержка системных промптов и эффективное локальное выполнение на устройствах с ограниченными ресурсами. 8-битное представление снижает требования к памяти, но может сопровождаться некоторой потерей точности по сравнению с полноточными версиями. README не приводит подробных результатов бенчмарков, требований к оборудованию или перечня поддерживаемых аудио- и видеоформатов. Модель распространяется по лицензии Apache 2.0.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-mlx-oQ8e — мультимодальная версия модели GLM-5.3-Flash с открытыми от цензуры весами. Исходную архитектуру разработала Zhipu AI (ZAI), uncensored-веса предоставила dealignai, а смешанную MLX-квантизацию oQ8e подготовила Solstice-AI. Модель предназначена для генерации и анализа текста, программирования, математического и общего рассуждения, а также понимания изображений и видео. Указаны языки English и Chinese. Модель основана на разреженной MoE-архитектуре с 320 млрд общих параметров, 288 экспертами и примерно 18 млрд активных параметров на токен. Она поддерживает контекст до 1 048 576 токенов, мультимодальное понимание изображений и видео и запуск на Apple Silicon через MLX. Используется смешанная точность около 8,6 бит на вес: критичные для маршрутизации и вывода слои сохраняются в 8-битном формате, vision tower и мультимодальный aligner — в BF16, а отдельные таблицы — в BF16/FP32. В комплект входит DFlash2 для speculative decoding, заявленное ускорение — до 3 раз. Сильными сторонами являются большой контекст, сочетание текстовых и визуальных возможностей, высокая заявленная производительность в программировании, математике и видеоанализе, а также оптимизация для чипов Apple M2–M5. Ограничения включают значительный размер модели и зависимость от совместимого оборудования и MLX; заявленная uncensored-настройка может требовать самостоятельного контроля безопасности при использовании. Лицензия — MIT.

Hunyuan-A13B-Instruct — чат-модель Tencent для генерации текста и ответов на инструкции. Она построена на архитектуре Mixture-of-Experts (MoE) с Grouped Query Attention; README указывает 80 млрд параметров всего и 13 млрд активных при выводе. В метаданных репозитория при этом указано 3,1 млрд параметров, поэтому размер модели в карточке и метаданных расходится. Модель предназначена для диалога, сложных рассуждений, математики, научных вопросов, программирования и агентных сценариев с вызовом инструментов. Поддерживает режимы быстрого и пошагового рассуждения, а README заявляет контекст до 256K токенов. Метаданные указывают контекст 32 768 токенов; доступные сведения не позволяют разрешить это расхождение. Для запуска описана поддержка Transformers, TensorRT-LLM, vLLM и SGLang. В README приведены конкурентные результаты на бенчмарках математики, науки, кода, рассуждений и агентных задач, но они не гарантируют аналогичного качества в прикладных сценариях. Языковая поддержка отдельно не перечислена. Лицензия обозначена как other, поэтому перед использованием следует проверить условия в файле LICENSE репозитория.

NVIDIA Kimi-K2.6-NVFP4 — квантизированная версия авторегрессионной языковой модели Kimi-K2.6 от Moonshot AI. NVIDIA подготовила эту сборку с помощью Model Optimizer; сама модель не принадлежит NVIDIA и не была ею разработана. Она предназначена для разработчиков и провайдеров инференса, которым нужны готовые к развертыванию предварительно квантизированные генеративные модели для инференса на GPU NVIDIA. Модель использует оптимизированную архитектуру Transformer с сетевой архитектурой DeepSeek V3. Общий размер составляет около 1 трлн параметров, из которых активируется 32 млрд. Поддерживаются текст, изображения и видео на входе, а результатом является текст, включая естественно-языковые ответы, код, структурированный JSON, запросы вызова инструментов, инструкции для координации агентов и другие артефакты в зависимости от конфигурации сервинга. Заявлена длина контекста 256 тысяч токенов. В README языки явно не указаны. Сильные стороны модели — мультимодальность, большой контекст, поддержка задач рассуждения, программирования и агентного использования инструментов, а также готовая FP4-квантизация для ускоренного инференса. Сборка ориентирована на NVIDIA Blackwell, Linux и runtime vLLM; для эффективной работы требуются GPU-ускоренные системы NVIDIA. Данные о полном обучающем наборе, тестировании и некоторых характеристиках модели не раскрыты, поэтому перед промышленным применением необходимы дополнительные проверки на данных конкретного сценария. Использование регулируется NVIDIA Open Model License. README также содержит ссылку на Modified MIT License базовой модели Kimi-K2.6; применимые условия следует проверять по обеим лицензиям и связанным материалам.

Llama-3.1-Nemotron-Nano-4B-v1.1 — языковая модель NVIDIA на базе nvidia/Llama-3.1-Minitron-4B-Width-Base, созданной из Llama 3.1 8B методом сжатия. Это плотный декодерный Transformer семейства Llama с 3,9 млрд параметров, дообученный для рассуждений, общения по инструкциям, математики, программирования, работы с RAG и вызова инструментов. Модель рассчитана на текстовый ввод и вывод, поддерживает контекст до 131 072 токенов и может запускаться локально на одной RTX GPU. Модель предназначена для чат-ботов, AI-агентов и приложений, которым нужны ответы на вопросы, следование инструкциям и многошаговые рассуждения. Режим рассуждений управляется системным промптом; для вызова инструментов предусмотрены шаблон чата и парсер для vLLM. Основной язык — английский; также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. В карточке указана возможность коммерческого использования; лицензия обозначена как other, поэтому перед внедрением следует ознакомиться с условиями лицензии репозитория. Результаты зависят от формата запроса и настроек декодирования; опубликованные оценки получены при длине последовательности 32K и не гарантируют такого же качества на всех задачах или при использовании полного контекста.

Nemotron-3-Super-120B-A12B-NVFP4 — большая языковая модель NVIDIA для диалога, рассуждений и работы в агентных системах. Она предназначена для разработчиков чат-ботов, RAG-систем и ИИ-приложений, включая автоматизацию IT-заявок, сложное следование инструкциям и анализ длинных контекстов. Модель использует гибридную архитектуру LatentMoE на основе Mamba-2, смеси экспертов и слоёв внимания, а также Multi-Token Prediction для ускорения генерации. Всего в ней 120 млрд параметров, из которых активны 12 млрд; заявленная длина контекста — до 1 млн токенов. Веса представлены в NVFP4, при этом репозиторий содержит файлы Safetensors и рассчитан на работу с Transformers. Модель поддерживает английский, французский, немецкий, итальянский, японский, испанский и китайский языки; в карточке также заявлены сценарии с кодом. NVIDIA указывает, что модель готова к коммерческому использованию; метаданные обозначают лицензию как other, поэтому конкретные условия следует сверить с лицензией репозитория. К возможным ограничениям относятся потребность в мощном оборудовании для обслуживания модели и зависимость качества ответов от задачи и контекста.

OceanLabs/Ocean-1-4B-DSpark — дообученная компактная языковая модель общего назначения, основанная на D-Spark-4B и разработанная OceanLabs. Она предназначена для диалогов, написания и перевода текстов, рассуждений, повседневного программирования, вызова инструментов и агентных сценариев. Модель содержит 3,5 млрд параметров по метаданным и использует плотную архитектуру DSparkForCausalLM с чередованием слоёв скользящего и разреженного полного внимания. Контекстное окно достигает 1 048 576 токенов; заявлена поддержка более 200 языков. Модель оптимизирована для эффективного инференса на маломощных устройствах: архитектура снижает расход памяти KV-кэша и вычисления при работе с длинным контекстом. Указана совместимость с NVIDIA, Apple Silicon и CPU, а также с распространёнными средствами запуска и агентными фреймворками. В README приведены параметры базовой модели D-Spark-4B, отличающиеся от размера в метаданных; здесь указан размер из метаданных каталога. Репозиторий распространяется под лицензией Apache-2.0.

RedHatAI/Qwen3-14B-FP8-dynamic — языковая модель для генерации текста, разработанная Red Hat совместно с Neural Magic на базе Qwen/Qwen3-14B. Это причинно-следственная трансформерная модель архитектуры Qwen3ForCausalLM с текстовыми входами и выходами. Она предназначена для рассуждений, вызова функций, многоязычного следования инструкциям, перевода и последующей адаптации под предметные области с помощью дообучения. Модель использует FP8-квантизацию весов и активаций, что примерно вдвое снижает требования к памяти GPU и размер модели на диске, а также может примерно вдвое повысить пропускную способность матричных операций по сравнению с представлением FP16. Квантизации подвергнуты линейные операторы в трансформерных блоках: веса квантизированы статически по каналам, а активации — динамически по токенам. Размер модели — 14 миллиардов параметров; точный максимальный контекст в README не указан, хотя для оценки использовались длины до 40960 токенов. К сильным сторонам относятся поддержка рассуждений и многоязычных инструкций при более низких требованиях к ресурсам, а также эффективное развертывание через vLLM с OpenAI-совместимым сервером. Возможным ограничением является потенциальное влияние FP8-квантизации на качество по сравнению с исходной моделью, однако количественная оценка этого влияния в README не приведена. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

Qwen3-30B-A3B-Instruct-2507-quantized.w4a16 — квантизированная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанная Red Hat совместно с Neural Magic. Модель предназначена для генерации текста, рассуждений, вызова функций, многоязычного следования инструкциям, перевода и последующей адаптации под предметные области с помощью дообучения. Модель построена на архитектуре Qwen3ForCausalLM и работает с текстовыми входами и выходами. Веса линейных операторов в трансформерных блоках сжаты до INT4 с использованием алгоритма GPTQ, симметричной групповой схемы с размером группы 128; выходной слой lm_head не квантизируется. Такое преобразование уменьшает число битов на параметр с 16 до 4, а также примерно на 75% снижает требования к дисковому пространству и памяти GPU. Размер базовой модели — 30B параметров, при этом в README не указаны точные сведения о языках и максимальном контексте; в примерах развертывания используется длина контекста до 262144 токенов. К сильным сторонам относятся существенное снижение требований к ресурсам и возможность эффективного развертывания через vLLM, включая OpenAI-совместимый API. Ограничения связаны с потерями качества, возможными при INT4-квантизации, а также с отсутствием в предоставленных данных подробных результатов бенчмарков и характеристик поддержки отдельных языков. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

Mungert/Qwen3.5-122B-A10B-GGUF — это GGUF-квантизированная версия мультимодальной модели Qwen3.5-122B-A10B, разработанной командой Qwen. Репозиторий подготовлен Mungert с использованием llama.cpp и предназначен для локального запуска и эффективного инференса в совместимых инструментах, включая llama.cpp и связанные экосистемы GGUF. Модель представляет собой авторегрессионную языковую модель с vision encoder, поддерживающую обработку текста и изображений. Она рассчитана на рассуждения, программирование, работу с агентами, визуальное понимание и другие универсальные задачи. Заявлена поддержка 201 языка и диалекта. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture of Experts: всего 122 млрд параметров, из которых при генерации активируются около 10 млрд. Модель содержит 48 слоёв и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Ключевое преимущество этой сборки — специальная стратегия квантизации: важные слои вручную переводятся в более высокую точность сверх стандартной конфигурации IMatrix. По заявлению автора, это особенно улучшает точность при низкой разрядности и для MoE-моделей, но увеличивает размер файлов. Фактические характеристики зависят от выбранного GGUF-варианта и аппаратного обеспечения; README не приводит подробностей о конкретных уровнях квантизации, требованиях к памяти или независимых результатах тестирования. Исходная модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.5-122B-A10B-NVFP4 — это NVFP4-квантизованная версия мультимодальной модели Qwen3.5-122B-A10B, подготовленная Unsloth на базе модели Qwen. Она относится к классу каузальных языковых моделей с vision encoder и предназначена для работы с текстом и изображениями, включая рассуждение, программирование, визуальное понимание и агентские сценарии. Модель использует гибридную архитектуру Gated Delta Networks и разреженной Mixture-of-Experts. Всего заявлено 122 млрд параметров, из которых при обработке активируется около 10 млрд; архитектура включает 48 слоёв и 256 экспертов, из которых маршрутизируются 8, дополнительно используется один общий эксперт. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Ключевое преимущество версии NVFP4 — снижение требований к памяти и стоимости инференса при сохранении возможностей исходной модели, однако качество и скорость могут зависеть от особенностей квантизации и совместимого программно-аппаратного окружения. В README рекомендуется запуск через vLLM с NVFP4-ядром; использование Marlin не рекомендуется из-за более низкой производительности. Модель распространяется по лицензии Apache 2.0. README не содержит подробных результатов бенчмарков для этой конкретной квантизованной версии, поэтому её фактические показатели качества следует проверять отдельно.

RedHatAI/Qwen3.5-397B-A17B-FP8-dynamic — мультимодальная причинная языковая модель архитектуры Qwen3_5MoeForCausalLM, разработанная RedHatAI на основе Qwen/Qwen3.5-397B-A17B от Alibaba Cloud. Модель принимает текст и изображения, а генерирует текст. Она предназначена для рассуждений, работы с визуально-языковыми запросами, вызова инструментов и решения широкого круга задач обработки текста и кода. Модель содержит 397 млрд параметров и использует FP8-квантизацию весов и активаций. Квантизируются линейные операторы в трансформерных блоках, тогда как визуальный энкодер, механизм линейного внимания Gated DeltaNet, маршрутизаторы MoE, общие эксперты и эмбеддинги сохраняются в исходной точности. Это уменьшает размер на диске и потребление GPU-памяти примерно на 50% по сравнению с 16-битной версией. Поддерживаются текстовый режим, мультимодальная обработка изображений, вызов инструментов и multi-token prediction для speculative decoding. Модель оптимизирована для инференса с vLLM и валидирована с vLLM 0.18.0, RHOAI 3.4 и RHAIIS 3.4. FP8-квантизация снижает требования к ресурсам, однако модель остаётся очень крупной и требует мног GPU-инфраструктуры; в README приведена конфигурация с tensor parallelism на 4 устройствах. Данные о поддерживаемых языках, размере контекста и численных результатах бенчмарков в представленном описании отсутствуют. Модель распространяется по лицензии Apache-2.0.

NVIDIA Qwen3.5-397B-A17B-NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3.5-397B-A17B, разработанной Alibaba и подготовленной с помощью NVIDIA Model Optimizer. README отдельно уточняет, что модель не принадлежит и не разработана NVIDIA, а создана на основе сторонней модели. Она предназначена для коммерческого и некоммерческого использования, в том числе для AI-агентов, чат-ботов, RAG-систем и других приложений на базе искусственного интеллекта. Модель использует архитектуру Transformers и сеть Qwen3.5-397B-A17B с 397 млрд параметров, из которых активируется 17 млрд. Она поддерживает текстовые, графические и видео входы, включая строки, изображения RGB и видео в форматах MP4/WebM, а также контекст длиной до 262 тысяч токенов. Выходом служит текст. Квантизация NVFP4 применяется к весам и активациям линейных операторов в MoE-блоках трансформера. Ключевое преимущество модели — готовая к инференсу низкоразрядная версия, ориентированная на NVIDIA GPU и совместимая с архитектурой Blackwell. Для запуска заявлена поддержка SGLang и vLLM в Linux; версия Model Optimizer — 0.42.0. Ограничения включают высокие требования к аппаратным ресурсам и зависимость от поддерживаемой GPU-инфраструктуры; сведения о полном составе обучающих и тестовых данных, языках и некоторых аспектах базовой модели в README не раскрыты. Лицензия — Apache License 2.0.

cyankiwi/Qwen3.5-4B-AWQ-INT8-INT4 — квантованная версия мультимодальной модели Qwen3.5-4B, основанная на Qwen/Qwen3.5-4B. Модель представлена в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Архитектура включает каузальную языковую модель с vision encoder и предназначена для обработки текста и изображений, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит около 4 млрд параметров, 32 слоя и гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Идентификатор указывает на применение квантования AWQ с форматами INT8 и INT4, что ориентировано на снижение требований к памяти и ускорение инференса; README не приводит точных характеристик качества именно этой квантованной сборки. Модель подходит для локального и серверного инференса, мультимодальных приложений, анализа документов и изображений, генерации текста и кода, а также задач с длинным контекстом. К сильным сторонам относятся сочетание языковых и визуальных возможностей, большой контекст, многоязычность и компактный размер. Ограничения квантованной версии, включая возможное снижение точности по сравнению с полной моделью, в README не описаны. Лицензия — Apache-2.0.

Mungert/Qwen3.5-4B-GGUF — это GGUF-квантованная версия мультимодальной модели Qwen3.5-4B, опубликованная Mungert на основе базовой модели Qwen/Qwen3.5-4B-Base, разработанной командой Qwen. Модель предназначена для генерации и понимания текста, визуально-языковых задач, рассуждений, программирования, работы с агентами и анализа изображений. Формат GGUF ориентирован на локальный запуск с использованием совместимых инструментов, включая llama.cpp. Модель представляет собой авторегрессионную языковую модель с vision encoder и поддерживает обработку текста и изображений. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts; размер языковой части составляет около 4 млрд параметров, число слоёв — 32, размер скрытого состояния — 2560. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Ключевая особенность этой версии — кастомная стратегия квантования: отдельные важные слои переводятся в более высокую точность сверх стандартной конфигурации IMatrix, что, по данным автора, может улучшать точность при сохранении преимуществ квантования. Ограничения зависят от выбранного варианта квантования и аппаратного обеспечения; снижение точности по сравнению с полной моделью возможно, а конкретные требования к памяти, результаты бенчмарков и доступные уровни квантования в представленном фрагменте не указаны. Лицензия — Apache 2.0.

cyankiwi/Qwen3.5-9B-AWQ-4bit — это 4-битная AWQ-квантизированная версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen. Модель предназначена для обработки текста и изображений, включая визуальное понимание, рассуждения, программирование и агентские сценарии. Она распространяется в формате, совместимом с Transformers, vLLM, SGLang и KTransformers. Модель содержит около 9 млрд параметров и построена как авторегрессионная языковая модель с vision encoder. В архитектуре сочетаются Gated Delta Networks и разреженная Mixture-of-Experts; заявлены 32 слоя и скрытая размерность 4096. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Квантизация AWQ снижает требования к памяти и может сделать инференс практичнее на совместимом оборудовании, однако возможны потери качества по сравнению с полноразмерной версией, а фактическая производительность зависит от используемого движка. Модель ориентирована на разработчиков и корпоративные приложения, которым нужны мультимодальные ответы, анализ изображений, работа с длинным контекстом, кодом и сложными задачами. README не содержит подробностей о специфических ограничениях, безопасности, точных требованиях к оборудованию или характеристиках именно квантизированной версии. Лицензия — Apache-2.0.

lovedheart/Qwen3.5-9B-FP8 — мультимодальная причинная языковая модель с визуальным энкодером, основанная на Qwen3.5-9B и разработанная командой Qwen. Она предназначена для генерации и анализа текста и изображений, рассуждений, программирования, визуального понимания и агентских сценариев. Модель содержит около 9 млрд параметров, 32 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. В архитектуре сочетаются Gated DeltaNet, Gated Attention и разреженная Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Модель обучалась на стадиях предварительного и последующего обучения и совместима с Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся мультимодальность, длинный контекст, высокая эффективность архитектуры и широкое языковое покрытие. README не приводит подробных ограничений, требований к аппаратному обеспечению или результатов независимого тестирования для данной FP8-сборки, поэтому фактическая производительность и качество могут зависеть от среды запуска и сценария использования. Указана лицензия Apache 2.0.

surogate/Qwen3.5-9B-FP8 — FP8-квантизированный вариант мультимодальной модели Qwen3.5-9B, разработанной командой Qwen; модель основана на Qwen/Qwen3.5-9B-Base и подготовлена для использования в Surogate. Она предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель представляет собой авторегрессионную языковую модель с vision encoder, содержит около 9 млрд параметров и использует гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Контекстное окно составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Веса квантизированы методом fine-grained FP8 с размером блока 128; согласно README, показатели близки к исходной модели. Артефакты совместимы с Hugging Face Transformers, vLLM, SGLang и KTransformers. Сильными сторонами являются сочетание мультимодальности, длинного контекста, высокой эффективности инференса и широкого языкового охвата. Ограничения конкретных аппаратных требований, качества на отдельных языках и результаты полного набора тестов в предоставленных данных не описаны. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.5-9B-GGUF — GGUF-версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen и подготовленной Unsloth. Это каузальная языковая модель с vision encoder, предназначенная для локального запуска, генерации и анализа текста, программирования, рассуждений, агентских сценариев и обработки визуальной информации. Модель также поддерживает локальное дообучение с помощью Unsloth. Модель содержит около 9 млрд параметров и использует гибридную архитектуру с Gated Delta Networks, разреженным Mixture-of-Experts и блоками Gated Attention. В конфигурации заявлены 32 слоя, скрытая размерность 4096 и нативная длина контекста 262 144 токена с возможностью расширения до 1 010 000 токенов. Модель обучена для работы с мультимодальными токенами и заявляет поддержку 201 языка и диалекта. Репозиторий ориентирован на экосистему GGUF и локальный инференс, однако конкретный уровень квантования в предоставленных данных не указан. Сильными сторонами являются сочетание языковых и визуальных возможностей, большой контекст, энергоэффективная архитектура и широкий языковой охват. Ограничения включают отсутствие в предоставленных данных подробных результатов именно для GGUF-варианта, сведений о требованиях к оборудованию и точных характеристик квантования; фактическое качество и скорость могут зависеть от используемого рантайма и уровня квантования. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B Q4_K_M GGUF — это 4-битная квантованная версия языково-мультимодальной модели Qwen3.5-9B, первоначально разработанной Alibaba Cloud. Конвертацию в формат GGUF выполнила Unsloth, а квантование и оптимизацию для локального запуска на устройствах Apple — jc-builds. Модель распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста, рассуждений, программирования, использования инструментов, анализа изображений и работы с документами и видео. Она поддерживает режим рассуждений с блоками <think>...</think>, ChatML-формат запросов и ориентирована прежде всего на приватный автономный запуск через llama.cpp, включая iPhone, iPad и Mac с Apple Silicon. Для iOS она доступна в приложении HaploAI. Архитектура сочетает Gated DeltaNet и полное Gated Attention в соотношении 3:1 и включает 32 слоя, скрытое измерение 4096, GQA с 16 query-heads и 4 KV-heads, а также FFN с промежуточным размером 12288. Модель содержит около 9 млрд параметров, занимает примерно 5,3 ГБ, поддерживает контекст до 262 144 токенов с возможностью расширения свыше 1 млн через YaRN и заявляет поддержку 201 языка и диалекта, включая русский, английский, китайский, японский, корейский и европейские языки. Нативная мультимодальность основана на раннем слиянии визуальных данных. К сильным сторонам относятся высокая заявленная эффективность для модели такого размера, большой контекст, мультимодальность, широкий языковой охват и возможность локального использования без передачи данных в облако. Ограничения включают значительные требования к памяти: для комфортной работы рекомендуется устройство с минимум 8 ГБ RAM, а на старых iPhone с 6 ГБ модель не рекомендуется. Приведённые результаты бенчмарков и скорости зависят от реализации, устройства и настроек запуска.

RedHatAI/Qwen3-8B-FP8-dynamic — это квантизированная FP8-версия языковой модели Qwen3-8B, разработанная Red Hat совместно с Neural Magic на базе модели Alibaba Cloud Qwen/Qwen3-8B. Модель предназначена для генерации текста, рассуждений, многоязычного следования инструкциям, перевода, вызова функций и создания предметно-ориентированных решений с помощью дообучения. Она поддерживает tool calling и рассчитана на работу с текстовыми входами и выходами. Модель использует архитектуру Qwen3ForCausalLM и поддерживает китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский и ряд других языков. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8: для весов применяется симметричная статическая поканальная схема, для активаций — симметричная динамическая потокенная схема. По заявлению разработчиков, это примерно на 50% снижает требования к видеопамяти и размер на диске, а также примерно вдвое увеличивает пропускную способность матричных вычислений. Длина контекста в README не указана. Модель оптимизирована для эффективного развёртывания с использованием vLLM, включая OpenAI-совместимый сервер, и валидирована в Red Hat OpenShift AI 2.24, Red Hat AI Inference Server 3.2.1 и vLLM 0.10.0. Ограничения FP8-квантизации и отсутствие сведений о конкретных показателях качества следует учитывать при выборе модели. Распространяется по лицензии Apache 2.0; использование не должно нарушать применимое законодательство и требования экспортного контроля.