II.4Отладка, тестирование и качество ПО

Qwen3-30B-A3B-Base — базовая языковая модель семейства Qwen3, опубликованная Unsloth на Hugging Face на основе Qwen/Qwen3-30B-A3B-Base. Это причинная MoE-модель для генерации и продолжения текста, в том числе как основа для дообучения под конкретные задачи. В README указано 30,5 млрд параметров всего и 3,3 млрд активируемых параметров; архитектура включает 48 слоёв, 128 экспертов и 8 активируемых экспертов. Контекст — 32 768 токенов. Модель обучалась на корпусе Qwen3 с данными по 119 языкам, включая программирование, STEM, рассуждения и книги. Она рассчитана на многоязычную генерацию, рассуждения, работу с кодом и длинными текстовыми контекстами. Для запуска рекомендуется актуальная версия Transformers: версии ниже 4.51.0 могут не распознавать архитектуру qwen3_moe. Лицензия — Apache-2.0.

JunHowie/Qwen3-4B-Instruct-2507-GPTQ-Int4 — это 4-битная GPTQ-квантованная версия инструкционной языковой модели Qwen3-4B-Instruct-2507, созданная на базе модели Qwen/Qwen3-4B-Instruct-2507. Репозиторий содержит квантование с размером группы 128 и настройкой desc_act=False, которая, согласно описанию, повышает эффективность генерации токенов по сравнению с более ранними квантованными версиями. Модель предназначена для генерации текста и выполнения инструкций, включая понимание текста, логическое рассуждение, математику, науку, программирование, использование инструментов и открытые творческие задачи. Она поддерживает несколько языков и рассчитана на работу в режиме без рассуждений: модель не генерирует блоки <think></think>. Базовая архитектура — causal language model с 4,0 млрд параметров, 3,6 млрд параметров без учёта эмбеддингов, 36 слоями и Grouped Query Attention: 32 головы для Q и 8 для KV. Нативная длина контекста составляет 262 144 токена. Квантование уменьшает требования к памяти и может быть полезно для локального или высокопроизводительного развертывания, в частности через vLLM; для работы указана зависимость vllm>=0.9.2. Ограничения связаны с потерями качества, возможными при 4-битном квантовании, а также с тем, что это текстовая, а не мультимодальная модель. Лицензия — Apache 2.0.

RedHatAI/Qwen3.5-397B-A17B-FP8-dynamic — мультимодальная причинная языковая модель архитектуры Qwen3_5MoeForCausalLM, разработанная RedHatAI на основе Qwen/Qwen3.5-397B-A17B от Alibaba Cloud. Модель принимает текст и изображения, а генерирует текст. Она предназначена для рассуждений, работы с визуально-языковыми запросами, вызова инструментов и решения широкого круга задач обработки текста и кода. Модель содержит 397 млрд параметров и использует FP8-квантизацию весов и активаций. Квантизируются линейные операторы в трансформерных блоках, тогда как визуальный энкодер, механизм линейного внимания Gated DeltaNet, маршрутизаторы MoE, общие эксперты и эмбеддинги сохраняются в исходной точности. Это уменьшает размер на диске и потребление GPU-памяти примерно на 50% по сравнению с 16-битной версией. Поддерживаются текстовый режим, мультимодальная обработка изображений, вызов инструментов и multi-token prediction для speculative decoding. Модель оптимизирована для инференса с vLLM и валидирована с vLLM 0.18.0, RHOAI 3.4 и RHAIIS 3.4. FP8-квантизация снижает требования к ресурсам, однако модель остаётся очень крупной и требует мног GPU-инфраструктуры; в README приведена конфигурация с tensor parallelism на 4 устройствах. Данные о поддерживаемых языках, размере контекста и численных результатах бенчмарков в представленном описании отсутствуют. Модель распространяется по лицензии Apache-2.0.

Smoffyy/Qwen3.5-4B-Instruct-Revised-GGUF — переработанная GGUF-квантизация модели Qwen3.5-4B, разработанной командой Qwen. Автор варианта Smoffyy конвертировал исходные веса в формат GGUF с помощью llama.cpp и заменил официальный шаблон чата на собственный исправленный шаблон. Модель предназначена для диалогов, рассуждений, программирования, агентских сценариев и визуального понимания; это мультимодальная causal language model с vision encoder. Для работы с изображениями требуется отдельный файл mmproj-f16.gguf. Модель содержит около 4 млрд параметров, 32 слоя и использует гибридную архитектуру Gated DeltaNet, Gated Attention и sparse Mixture-of-Experts. Заявлена поддержка 201 языка и диалекта. Вариант сохраняет возможности исходной модели, но исправляет проблемы шаблона чата, включая управление режимом рассуждений, пустые блоки рассуждений и поддержку роли developer. По умолчанию включён режим без рассуждений; его можно переключать специальными токенами в системном запросе. В README приведён пример использования q4_k_m с контекстом 64k, требующий около 7 ГБ VRAM; рекомендуемые требования к видеопамяти зависят от уровня квантизации. К ограничениям относятся потеря части качества по сравнению с полноразмерными весами при использовании более сильной квантизации, а также необходимость скачивать дополнительный мультимодальный проектор для обработки изображений. Модель и производные работы распространяются по лицензии Apache 2.0.

Карточка модели ArliAI/Qwen3.5-9B-RpRMax-v1 на Hugging Face совпадает с карточкой Qwen/Qwen3.5-9B, поэтому описание составлено по ней. Qwen3.5-9B — мультимодальная модель Qwen, разработанная командой Qwen и представленная в формате Hugging Face Transformers. Это дообученная версия Qwen/Qwen3.5-9B-Base: причинная языковая модель с визуальным энкодером, 9 млрд параметров и гибридной архитектурой с Gated Delta Networks и разреженными Mixture-of-Experts. Модель принимает текст и изображения и генерирует текст; поддерживает чат и вызов инструментов. Модель предназначена для диалога, рассуждений, программирования, визуального понимания и агентных сценариев с использованием инструментов. Нативная длина контекста — 262 144 токена, с расширением до 1 010 000; в режиме по умолчанию перед ответом генерируется содержимое рассуждений. В карточке заявлена поддержка 201 языка и диалекта, но список языков в предоставленных данных опущен. В README заявлены высокая эффективность гибридной архитектуры и улучшенные результаты на задачах рассуждения, кода и визуального понимания; независимых оценок в предоставленном тексте недостаточно для проверки этих утверждений. Для длинного контекста могут потребоваться значительные ресурсы, а совместимость и пропускная способность зависят от версии и конфигурации сервера. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-GPTQ-4bit — это 4-битная GPTQ-квантизованная версия мультимодальной модели Qwen3.6-35B-A3B, разработанной командой Qwen. Модель предназначена для генерации и понимания текста, работы с изображениями, задач программирования, рассуждений, вызова инструментов и обслуживания через vLLM. Она поддерживает мультимодальные запросы с текстом и изображениями, а также спекулятивное декодирование благодаря модулю MTP. Модель использует архитектуру Mixture-of-Experts с примерно 35 млрд параметров, из которых около 3 млрд активируются для каждого токена; в каждом слое выбираются 8 из 256 экспертов. Архитектура включает 40 слоёв, чередующиеся линейное и полное внимание, визуальный энкодер ViT из 27 блоков и контекстное окно до 262 144 токенов. Экспертные модули квантизованы до INT4 методом GPTQ, тогда как визуальный энкодер, MTP, общие эксперты, эмбеддинги и ряд других компонентов сохранены в BF16 или FP16. Размер модели составляет около 25 ГБ, а измеренная деградация perplexity относительно исходной BF16-версии — около 0,83% на wikitext-2. К сильным сторонам относятся значительное сокращение размера и требований к памяти при сохранении мультимодальности, длинного контекста и поддержки инструментов. Ограничение заключается в том, что согласно README модель напрямую не загружается через GPTQModel или transformers и предназначена для инференса в vLLM; для запуска может потребоваться исправление совместимости в некоторых версиях vLLM. Модель распространяется по лицензии Apache-2.0.

SassyDiffusion/Qwen3.8-27B-heretic-GGUF — GGUF-сборка модели SassyDiffusion/Qwen3.8-27B-heretic, основанной на Qwen3.8-27B и изменённой методом abliteration. Это разговорная причинная языковая модель с визуальным энкодером, рассчитанная на диалог, анализ изображений и видео, программирование, профессиональные и исследовательские задачи, а также многошаговое планирование. Модель содержит 27 млрд параметров; базовая архитектура Qwen3.8 использует 64 слоя и поддерживает контекст 262 144 токена с возможностью расширения до 1 000 000. Метаданные указывают формат GGUF BF16. В карточке базовой модели заявлена поддержка понимания изображений и видео, гибкого управления режимом рассуждений и агентных сценариев. Для этой версии README приводит результат abliteration: 4 отказа из 100 запросов против 99 из 100 у исходной модели в указанной проверке; это означает заметно меньше отказов, но не гарантирует поведение на других запросах. Лицензия — Apache-2.0. Перед использованием следует учитывать, что README описывает параметры abliteration, но не приводит отдельной оценки качества именно этой GGUF-сборки.

ddalcu/Qwen3.8-27B-MLX-Serve-4bit — 4-битная MLX-квантизированная версия мультимодальной модели Qwen3.8-27B, разработанная ddalcu на основе Qwen/Qwen3.8-27B. Модель предназначена для локального запуска через mlx-serve на компьютерах Mac с Apple Silicon и поддерживает работу с текстом, изображениями, инструментами и режимом рассуждений. Она может использоваться для диалога, генерации и анализа текста и кода, обработки изображений, вызова инструментов и интеграции с клиентами через OpenAI- и Anthropic-совместимые API. Модель имеет 27 млрд параметров, занимает около 18,2 ГБ на диске и рассчитана на размещение в памяти Mac с 32 ГБ. Нативное контекстное окно составляет 262 144 токена, однако фактический размер зависит от доступной памяти устройства. В сборку включена нативная MTP-голова для multi-token prediction, ускоряющая декодирование, особенно при генерации кода. Также поддерживаются vision-language сценарии, XML-формат вызова инструментов Qwen3.8 и управление глубиной рассуждений. Главное преимущество сборки — возможность запустить крупную мультимодальную модель локально на 32-гигабайтном Mac без облака и Python-окружения. Компромисс — повышенный шум 4-битной квантизации: заявленная оценка составляет 9,25% против 0,71% у 8-битной версии, поэтому 8-битная сборка предпочтительнее при наличии достаточного объёма памяти. Указанные скорости зависят от оборудования и режима: на M4 Max с 128 ГБ заявлены до 75,3 токена в секунду для кода и 39,7 токена в секунду для пояснительного текста при включённом MTP. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-NVFP4 — квантизированная версия модели orcarouter/Qwen3.8-27B-Uncensored, созданная preetpatel на базе Qwen3.8-27B от Qwen. Исходная модель представляет собой abliteration/fine-tune без встроенных ограничений, ориентированный авторами на red teaming и исследования. Данный репозиторий изменяет числовой формат весов и не выполняет дополнительное обучение. Модель предназначена для генерации текста, рассуждений, программирования, работы в составе coding-agent, вызова инструментов и обработки изображений. Поддерживаются текстово-графические сценарии, function calling и вывод рассуждений через тег <think>. Заявлены английский и китайский языки. Модель использует гибридную архитектуру с gated-DeltaNet и linear-attention блоками; квантизация NVFP4 по схеме W4A4 применяется к весам и активациям линейных слоёв, а vision tower, lm_head и некоторые слои сохраняются в BF16. Размер весов составляет около 19 ГБ вместо примерно 56 ГБ в BF16. На одной RTX 5090 с 32 ГБ памяти заявлена работа с контекстом до 160 тысяч токенов при использовании vLLM и FP8 KV-cache. К сильным сторонам относятся низкое потребление видеопамяти, поддержка длинного контекста, изображений, структурированных вызовов инструментов и сценариев автономного агента. README сообщает об успешных тестах извлечения данных из контекста длиной до 155 тысяч токенов, параллельной обработке запросов и tool calling. Ограничения включают привязку оптимизаций к GPU Blackwell и совместимому окружению vLLM, а также небольшое дополнительное округление при слиянии некоторых квантизированных слоёв; возможное влияние на точные бенчмарки следует учитывать. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Qwopus3.6-27B-v2-AWQ-4bit — это квантизированная версия Jackrong/Qwopus3.6-27B-v2, дообученной на базе Qwen 3.6 27B с дистилляцией рассуждений Claude Opus. Квантизацию выполнил mconcat. Модель предназначена для генерации текста, решения математических и логических задач, программирования, анализа, творческого письма, работы с общими знаниями и вызова инструментов. В README также сохранены метаданные мультимодального процессора и vision-компонентов. Модель использует гибридную архитектуру DeltaNet и softmax attention, а также однос-layer MTP head для speculative decoding. Основные веса представлены в формате AutoAWQ INT4 (W4A16) с размером группы 128, при этом ряд компонентов, включая vision tower, мультимодальный проектор, MTP head, нормы и крайние слои трансформера, сохранён в BF16. Размер чекпойнта составляет около 26 ГБ вместо примерно 54 ГБ у BF16-версии. Заявлены языки English, Chinese, Korean и Japanese; в конфигурации запуска указан максимальный контекст 16384 токена. К сильным сторонам относятся существенное уменьшение размера модели, сохранение качества исходной BF16-версии на приведённых тестах и ускорение генерации с MTP speculative decoding. На одном NVIDIA B300 SXM6 заявлена скорость до 251 токена в секунду при batch size 1 и ускорение 2,19 раза относительно режима без MTP. Ограничения включают зависимость от совместимого окружения vLLM версии 0.21.0 или выше, необходимость trust_remote_code для указанного запуска и аппаратную специфику приведённых показателей производительности. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Qwopus3.8-27B-GGUF — это набор GGUF-квантизаций модели Qwopus3.8-27B, опубликованный nom666. Модель создана как весовое слияние Qwen3.8-27B с компонентами Qwopus3.6-27B-v2, содержащими дистиллированный стиль рассуждений Opus. Базовую модель разработала команда Qwen, а исходный вклад в дистилляцию Qwopus принадлежит Jackrong. Это не дообучение с градиентами, а арифметическое слияние весов. Модель предназначена прежде всего для генерации текста, инструкционного взаимодействия, программирования и агентских циклов, особенно в режиме без рассуждений. Она сохраняет архитектуру Qwen3.8: 64 слоя, скрытое представление размером 5120, гибридную архитектуру GDN и full attention, словарь примерно на 248 тысяч токенов, контекст до 262 144 токенов и встроенную MTP-голову для speculative decoding. Экспорт в формате nextn позволяет использовать спекулятивное декодирование через llama.cpp. Доступны варианты с 4- и 8-битной квантизацией размером примерно от 16 до 27 ГБ. Сильные стороны модели — высокая эффективность по числу токенов, улучшенное следование инструкциям в non-thinking режиме и совместимость с быстрым локальным обслуживанием через llama.cpp. В приведённых тестах 4-битная версия набрала 37 из 38 заданий в наборе instruct/code/math, а в thinking-режиме сопоставила базовую модель на сложном наборе, используя примерно на 45% меньше токенов рассуждений. Ограничения включают меньшую стабильность на самых сложных задачах в режиме рассуждений и риск превышения жёсткого лимита токенов; для таких сценариев базовая Qwen3.8 может быть предпочтительнее. Лицензия — Apache-2.0.

Qwythos-9B-Claude-Mythos-5-1M-heretic — модель на 9 млрд параметров, созданная Richard Young на основе Qwen/Qwen3.5-9B. Это полное дообучение текстовой части модели методом supervised fine-tuning; визуальный модуль унаследован от базовой модели, но при дообучении не настраивался. Модель предназначена для диалогов, рассуждений и работы с инструментами, включая вызовы функций в формате Qwen3.5. Контекстное окно расширено до 1 048 576 токенов с помощью YaRN; автор сообщает о проверке работы на контексте около 137 тысяч токенов. Это позволяет анализировать крупные репозитории, длинные переписки и наборы документов в одном запросе. Модель поддерживает английский язык. В карточке заявлены успешные результаты на собственном тесте вызова инструментов из семи запросов; это ограниченная оценка, а не независимое подтверждение качества. Автор предупреждает о циклах повторов при жадной генерации или низкой температуре и рекомендует проверять точные сведения в критически важных сценариях, используя поиск или другие инструменты. Возможности работы с изображениями унаследованы от базовой мультимодальной архитектуры, но в этой версии не настраивались и не тестировались. Лицензия — Apache 2.0.

SmolLM3-3B — открытая инструктивная языковая модель компании Hugging Face, рассчитанная на сильные результаты при небольшом размере. Это плотный декодерный Transformer с GQA и NoPE, содержащий 3,1 млрд параметров; модель дообучена на базе HuggingFaceTB/SmolLM3-3B-Base. Она поддерживает диалог, вызов инструментов и режимы с расширенными рассуждениями, а также генерацию и продолжение текста, включая задачи по математике, программированию и работе с длинными документами. Модель обучалась с контекстом 64 тыс. токенов; конфигурация задаёт 65 536 токенов, а README описывает расширение до 128 тыс. и 256 тыс. с YaRN. В README указаны английский, французский, испанский, немецкий, итальянский и португальский как нативно поддерживаемые языки; метаданные также отмечают китайский, арабский и русский. Доступны открытые веса и подробности обучения. Лицензия Apache-2.0. Модель подходит для чат-ботов, помощи в рассуждениях, генерации кода и математических ответов, а также сценариев с вызовом инструментов. Она может выдавать фактически неверные или логически непоследовательные ответы и воспроизводить смещения из обучающих данных; важные сведения следует проверять.

vmo247/vmo-gemma-4-26b-a4b-ft — мультимодальная модель, дообученная на базе Google Gemma 4 26B A4B. Она построена на архитектуре Gemma 4 для генерации текста по текстовым и графическим запросам и поддерживает диалоговый режим и анализ изображений. Вариант 26B A4B относится к MoE-моделям семейства; для Gemma 4 этого размера заявлено контекстное окно до 256K токенов и поддержка более 140 языков на уровне семейства. Модель подходит для ответов на вопросы по изображениям и документам, распознавания текста на изображениях, анализа графиков и интерфейсов, а также для диалогов, рассуждений, написания и исправления кода. В карточке этой производной модели не приведены отдельные результаты оценки качества; возможности видео и аудио, упомянутые для семейства Gemma 4, не подтверждены для данного 26B-варианта. Распространяется по лицензии Apache 2.0.

Youtu-LLM-2B — инструктивная языковая модель Tencent для диалогов, рассуждений и выполнения задач агентного типа. Это плотная авторегрессионная модель с архитектурой YoutuForCausalLM и механизмом Dense MLA; в ней около 2 млрд параметров, 32 слоя и словарь из 128 256 токенов. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и режим рассуждений, включаемый через шаблон диалога. Модель предназначена для чат-ботов, ответов на вопросы, задач STEM и программирования, работы с длинными контекстами и многошаговых агентных сценариев. Карточка приводит сравнительные результаты на общих и агентных бенчмарках, но эти оценки не гарантируют качество на конкретных данных. В репозитории указана лицензия other; конкретные условия следует сверять с текстом лицензии проекта.

ChatGLM3-6B 是智谱 AI（zai-org）开发的 ChatGLM 系列开源 диалоговая модель на плотной архитектуре ChatGLM с 7,5 млрд параметров. Она предназначена для многоходового диалога и генерации текста, а также для сценариев с вызовом функций, выполнением кода и агентными задачами. Модель принимает текстовые запросы и выдаёт текстовые ответы; заявлены китайский и английский языки. Контекст составляет 8192 токена. Карточка описывает более сильную базовую модель и улучшения обучения по сравнению с предыдущими поколениями ChatGLM, отмечая результаты в семантике, математике, рассуждениях, коде и знаниях. Весá доступны в форматах PyTorch и Safetensors. Они открыты для академических исследований; бесплатное коммерческое использование разрешено после регистрации через анкету. Условие регистрации следует проверить перед коммерческим применением.

Cohere Command R (08-2024) — обновлённая версия языковой модели Command R от Cohere. Она предназначена для многоязычных сценариев генерации с поиском по источникам (RAG) и использования инструментов; также улучшена для математики, программирования и рассуждений. По имеющимся сведениям, модель принимает текст и генерирует текст. Данные не содержат сведений о размере, длине контекста и лицензии, поэтому эти характеристики не приводятся.

mobiuslabsgmbh/DeepSeek-R1-ReDistill-Qwen-7B-v1.1 — повторно дистиллированная версия DeepSeek-R1-Distill-Qwen-7B-7B модели, опубликованная Mobius Labs. Это плотная авторегрессионная языковая модель семейства Qwen2 для диалогов и генерации текста; она подходит для задач, требующих многошаговых рассуждений, включая математику и программирование. В README приведены результаты сравнительных тестов на ARC, HellaSwag, MMLU, GPQA, MMLU PRO и MUSR; показатели версии v1.1 выше исходной на части тестов и ниже на ARC. Модель содержит 7,1 млрд параметров, принимает текст и имеет контекстное окно до 131 072 токенов. Опубликована в формате safetensors, поддерживает интерфейс диалога и tool calling. Лицензия — MIT. README не сообщает языки обучения или оценки, поэтому языковую поддержку нельзя уточнить по этим данным.

Это набор GGUF-квантизаций модели dolphin-2.9-llama3-8b-1m, созданной на базе Meta-Llama-3-8B. Квантизации подготовлены пользователем bartowski с использованием llama.cpp и метода imatrix; исходная модель разработана командой Cognitive Computations. Модель предназначена для генерации текста, диалоговых ассистентов, следования инструкциям, программирования, математических задач, function calling и агентских сценариев. Модель содержит около 8 миллиардов параметров, работает в текстовой модальности и использует формат диалоговых сообщений ChatML с ролями system, user и assistant. В обучении или дообучении использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, UltraChat, Orca Math и другие датасеты. Суффикс 1m указывает на вариант с очень длинным контекстом, однако точный размер контекстного окна в README не указан. Доступно множество вариантов квантизации с размером файлов примерно от 2,39 до 8,54 ГБ. Q6_K и Q5-серии обеспечивают высокое качество, а Q4 и более компактные варианты снижают требования к памяти и подходят для локального запуска; наиболее агрессивные Q2 и Q3-квантизации имеют заметно более низкое качество. Ограничения включают возможную потерю качества из-за квантизации, отсутствие мультимодальности и неуказанные в README показатели производительности. Лицензия обозначена как other, поэтому точные условия использования следует уточнять у разработчиков исходной модели.

Карточка модели Iambackup/gemma-4-26B-A4B-it на Hugging Face совпадает с карточкой vmo247/vmo-gemma-4-26b-a4b-ft, поэтому описание составлено по ней. vmo247/vmo-gemma-4-26b-a4b-ft — мультимодальная модель, дообученная на базе Google Gemma 4 26B A4B. Она построена на архитектуре Gemma 4 для генерации текста по текстовым и графическим запросам и поддерживает диалоговый режим и анализ изображений. Вариант 26B A4B относится к MoE-моделям семейства; для Gemma 4 этого размера заявлено контекстное окно до 256K токенов и поддержка более 140 языков на уровне семейства. Модель подходит для ответов на вопросы по изображениям и документам, распознавания текста на изображениях, анализа графиков и интерфейсов, а также для диалогов, рассуждений, написания и исправления кода. В карточке этой производной модели не приведены отдельные результаты оценки качества; возможности видео и аудио, упомянутые для семейства Gemma 4, не подтверждены для данного 26B-варианта. Распространяется по лицензии Apache 2.0.

Это конверсия в формат GGUF модели Gemma 4 26B A4B IT, квантизированной NVIDIA в NVFP4. Базовую модель разработала Google DeepMind; в репозитории указаны 25,2 млрд общих и 3,8 млрд активных параметров. Модель построена на архитектуре Transformers с чередованием локального скользящего и глобального внимания, поддерживает контекст до 256 тысяч токенов и более 140 языков. Модель принимает текст и изображения, обрабатывает видео как последовательности кадров и генерирует текст. Она предназначена для диалога, рассуждений, программирования, агентных сценариев и мультимодального понимания. GGUF-файл рассчитан на запуск через llama.cpp и совместимые движки; в карточке также приведены результаты бенчмарков базового NVFP4-чекпойнта, близкие к показателям полноточной версии. Репозиторий распространяется по лицензии Apache-2.0. Это NVFP4-квантизированная модель, поэтому для запуска и качества вывода важны поддержка формата и совместимость используемого движка; README рекомендует сборку llama.cpp с CUDA для NVFP4.

coder3101/gemma-4-31B-it-heretic — дообученная версия Gemma 4 31B IT, основанная на google/gemma-4-31B-it. Модель создана сообществом coder3101; по меткам heretic, uncensored, decensored и abliterated она позиционируется как версия с ослабленными ограничениями на ответы. Архитектура — плотная мультимодальная Gemma4ForConditionalGeneration; репозиторий содержит веса Safetensors и предназначен для работы через Transformers. Модель принимает текст и изображения и генерирует текст. Подходит для диалогов, ответов на вопросы по изображениям и документам, распознавания текста на изображениях, анализа диаграмм, написания и исправления кода, суммаризации и задач с длинным контекстом. В README семейства заявлена поддержка более 35 языков и контекст до 256K токенов для версии 31B; аудиообработка описана только для меньших вариантов Gemma 4, поэтому к этой модели её не относим. Гибридное чередование локального и глобального внимания рассчитано на эффективную обработку длинных последовательностей. Модель может ошибаться в фактах, упускать языковые нюансы и отражать смещения обучающих данных; ослабленные ограничения могут повышать риск нежелательных ответов. Лицензия — Apache-2.0.

unsloth/gemma-4-E4B-it-UD-MLX-4bit — это 4-битная MLX-квантизованная версия instruction-tuned модели Gemma 4 E4B, подготовленная Unsloth на базе google/gemma-4-E4B-it. Исходное семейство Gemma разработано Google DeepMind и распространяется как семейство открытых моделей с открытыми весами. Модель предназначена для локального запуска и дообучения, в том числе на ноутбуках и других устройствах с поддержкой MLX. Модель поддерживает мультимодальный ввод: текст и изображения, а для малых моделей Gemma 4 также заявлена нативная поддержка аудио; результатом является текст. Она ориентирована на генерацию текста, программирование, рассуждения, мультимодальное понимание и агентские сценарии с вызовом функций. Для E4B заявлены 4,5 млрд эффективных параметров, около 8 млрд параметров с учётом эмбеддингов, 42 слоя, контекст до 128K токенов и словарь размером 262K. Архитектура использует гибридное внимание с чередованием локального sliding-window и глобального внимания; размер локального окна E4B составляет 512 токенов. Поддерживается более 140 языков, а также системная роль и настраиваемый режим рассуждений. К сильным сторонам относятся сочетание компактного размера, мультимодальности, большого контекстного окна, возможностей рассуждения и оптимизации для локального выполнения. К ограничениям относятся потенциальная потеря качества из-за 4-битной квантизации и зависимость запуска от совместимого MLX-окружения; конкретные показатели качества этой версии в README не приведены. Лицензия — Apache 2.0, при этом для Gemma 4 также указана отдельная документация Google по условиям лицензирования.

GLM-4.6-FP8 — языковая модель для генерации текста, разработанная командой zai-org, связанной с Zhipu AI. Модель предназначена для работы с агентами, рассуждениями, программированием, поиском и использованием инструментов, а также для задач, где важны качество текста и естественность ролевого взаимодействия. Модель поддерживает английский и китайский языки, работает через библиотеку Transformers и имеет контекстное окно до 200 000 токенов. По сравнению с GLM-4.5 заявлены улучшения в кодировании, рассуждениях, использовании инструментов и поисковых агентах, а также более качественная генерация визуально оформленных интерфейсов. В README не указаны архитектура, количество параметров и точные сведения о поддерживаемых модальностях; по заявленному pipeline_tag модель относится к генерации текста. К сильным сторонам относятся увеличенный контекст, улучшенная работа с кодом и агентскими сценариями, поддержка tool use во время вывода и более естественный стиль написания. Ограничения и результаты конкретных тестов в README подробно не приведены. Для общих оценок рекомендуется temperature 1.0, а для задач программирования дополнительно top_p 0.95 и top_k 40. Модель распространяется по лицензии MIT.

Dingdust/granite-4.2-8b-heretic — дообученная и модифицированная версия модели семейства Granite от IBM. Это плотный decoder-only Transformer GraniteForCausalLM с 8,4 млрд параметров, рассчитанный на генерацию текста, диалог, рассуждения и вызов инструментов. Веса опубликованы в формате safetensors; лицензия Apache 2.0 разрешает коммерческое и академическое использование. Модель предназначена для ответов на сложные вопросы, решения многошаговых задач, математики, программирования и агентных сценариев с инструментами. Карточка описывает режимы рассуждения с разной глубиной и контекст до 512 тыс. токенов, однако метаданные указывают нативный контекст 131 072 токена. README также сообщает об abliteration: в приведённом сравнении доля отказов снизилась с 96 до 3 из 100 запросов; поэтому модель менее склонна отказывать, но может отвечать на небезопасные запросы. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; качество может быть ниже английского. Возможны неточные, предвзятые или небезопасные ответы. Текст рассуждений может содержать промежуточные выводы и не отражать итоговый ответ.

Hy4 preview — крупная языковая модель нового поколения, разработанная командой Tencent Hy. Это Mixture-of-Experts (MoE) модель для генерации текста и решения сложных задач, включая программную инженерию, анализ документов и данных, подготовку документов, таблиц и презентаций, финансовое моделирование, разработку игр и научные исследования. Модель содержит 770 млрд параметров, из которых 49 млрд активируются для каждого токена. Архитектура включает 78 слоёв, 256 маршрутизируемых и одного общего эксперта в MoE-слоях, при этом на токен выбираются 8 маршрутизируемых экспертов и общий эксперт. Используются Gated DeepSeek Sparse Attention, IndexCache для повторного использования разреженных индексов между слоями и iHC для расширения межслойного информационного обмена. Контекстное окно составляет 1 млн токенов. В модель также встроен слой MTP для speculative decoding. README не указывает поддерживаемые языки и мультимодальные возможности. Сильные стороны Hy4 preview — большой контекст, высокая вычислительная ёмкость, специализация на длительных задачах разработки, анализе неструктурированных материалов, математике и научном рассуждении. Модель позиционируется как открытая флагманская система и показывает конкурентные результаты во внутренних оценках Tencent. При этом это ранняя preview-версия: разработчики отмечают необходимость дальнейшего улучшения и склонность тратить больше времени, чем требуется, на рассуждение по сложным задачам. Распространение осуществляется по лицензии Apache 2.0.

Qwen3.5-99B — текстовая версия модели Qwen3.5-122B-A10B, подготовленная 0xSero методом REAP (Routing-Enhanced Activation Pruning). Из модели с архитектурой MoE удалено 20% наименее активных экспертов; итоговый чекпойнт содержит 99 млрд параметров и распространяется в формате BF16. В метаданных указаны Transformers и возможность диалогового взаимодействия. Модель предназначена для генерации текста и диалогов, включая программирование, ответы на вопросы и рассуждения. README приводит результаты бенчмарков для генерации кода и общих задач на знания и рассуждения; согласно карточке, после удаления экспертов сохранено в среднем 97,9% измеренных возможностей. Это текстовый чекпойнт: для запуска в vLLM README рекомендует флаг --language-model-only и задаёт контекст до 8192 токенов в примере команды. Базовая модель Qwen3.5-122B-A10B мультимодальна, но данная версия не предназначена для обработки изображений. Модель опубликована под лицензией other; конкретные условия использования следует проверять в сведениях о лицензии репозитория. Для обслуживания требуется значительный объём вычислительных ресурсов; README приводит конфигурацию vLLM с четырьмя GPU и экспертным параллелизмом. Бенчмарки в карточке не гарантируют аналогичных результатов на произвольных задачах.

RedHatAI/Qwen3.6-35B-A3B-NVFP4 — предварительная NVFP4-квантизованная версия модели Qwen3.6-35B-A3B, разработанной Alibaba Cloud и опубликованной Red Hat AI. Веса и активации преобразованы в формат NVFP4 с использованием llm-compressor; модель распространяется в формате compressed-tensors и предназначена для запуска через vLLM. Модель ориентирована на генерацию текста, рассуждения, решение математических и академических задач, программирование, работу с инструментами и агентские сценарии. В метаданных также заявлена поддержка обработки изображений вместе с текстом. Поддерживаются tool calling и режим рассуждений Qwen3; для запуска рекомендуются reasoning parser qwen3, tool-call parser qwen3_coder, prefix caching и MoE-бэкенд flashinfer_cutlass. Вариант содержит 35 млрд параметров в MoE-архитектуре с конфигурацией A3B; максимальная длина контекста 96 000 токенов указана для проведённого запуска в vLLM. Языки модели в README не перечислены. Сильная сторона модели — существенное снижение требований к памяти благодаря квантизации весов и активаций при сохранении большей части качества исходной Qwen3.6-35B-A3B. По опубликованным тестам результаты близки к базовой модели на задачах GSM8K, GPQA, Math 500, MMLU-Pro и IFEval, однако наблюдается более заметное снижение на LiveCodeBench, BFCL Multi-Turn и SWE-bench Verified. Модель является предварительной версией и может изменяться; совместимость проверена с RHOAI 3.5, RHAIIS 3.5 и vLLM 0.24.0. Лицензия — Apache 2.0.

Mia-AiLab/Qwen3.8-27B-EXL3-3.5bpw — это текстовая генеративная модель на основе Qwen/Qwen3.8-27B, разработанная Mia-AiLab и представленная в формате EXL3 для запуска через exllamav3. Модель предназначена для генерации текста, программирования и задач математического и логического рассуждения, включая сценарии с длинным контекстом. Вариант использует workload-калибровку на самостоятельно сгенерированном наборе из 622 515 токенов с кодом и рассуждениями, что, по данным автора, улучшает принятие токенов при speculative decoding и поведение на целевых задачах по сравнению с общей калибровкой. Это плотная модель размером 27B с гибридной архитектурой: 48 слоёв gated-deltanet с рекуррентным состоянием и 16 слоёв full attention с KV-кэшем. Средняя точность квантования составляет 3,5 bpw, веса занимают около 14,2 ГБ; эмбеддинги и lm_head сохранены в не-квантованном формате. Модель поддерживает нативный контекст до 262 144 токенов, а через YaRN доступно расширение до 1 048 576 токенов, однако качество за пределами 262 тысяч токенов ограничено. Это текстовая модель без vision tower; конкретный набор поддерживаемых языков в README не указан. К сильным сторонам относятся небольшое потребление видеопамяти для модели такого размера, эффективная работа с длинным контекстом, встроенная MTP-голова для speculative decoding и возможность применения FP8 или NVFP4 KV-кэша в расширенной версии exllamav3. На видеокарте с 24 ГБ памяти заявлена возможность разместить веса и полный нативный контекст при использовании NVFP4 KV-кэша. Ограничения включают зависимость от exllamav3, необходимость специализированного aarch64-порта на DGX Spark/GB10 и использование форка exllamav3 для некоторых функций KV-кэша и DFlash2. Модель распространяется по лицензии Apache-2.0.

Это квантованная версия Qwen3.8-27B, подготовленная FreedomAISVR в формате GGUF MXFP4 для запуска через llama.cpp на видеокартах NVIDIA Blackwell. В основе — плотная мультимодальная архитектура Qwen3_5ForConditionalGeneration с языковой частью на 27 млрд параметров и отдельным визуальным проектором; веса модели используют MXFP4, проектор — F16. Карточка указывает лицензию Apache-2.0. Модель предназначена для диалогов с текстом и изображениями, анализа видео, программирования, профессиональных и исследовательских задач, а также многошагового планирования и работы с агентскими сценариями. Режим рассуждений включён по умолчанию; его можно отключать и настраивать глубину. В README приведены примеры запуска с контекстом 32K и тесты производительности на RTX 5060 Ti 16GB, но это рекомендованные настройки и результаты для конкретной конфигурации, а не гарантии для другого оборудования. Квантизация уменьшает размер текстовых весов примерно до 14,2 ГБ; для обработки изображений также нужен визуальный проектор около 928 МБ. README рекомендует видеокарты RTX 50-й серии с 16 ГБ видеопамяти и не менее 16 ГБ оперативной памяти. Указанный в README контекст 32K — настройка примера запуска, а не подтверждённый максимальный контекст модели. Качество и скорость могут зависеть от оборудования и сборки llama.cpp.