II.4Отладка, тестирование и качество ПО

Карточка модели deadguy56/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 на Hugging Face совпадает с карточкой AbhijeetJain4075/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16, поэтому описание составлено по ней. Nemotron-3-Ultra-550B-A55B-BF16 — большая языковая модель NVIDIA для диалога, рассуждений и агентных сценариев. Она предназначена для разработчиков чат-ботов, RAG-систем и ИИ-агентов, которым нужны сложное следование инструкциям, анализ больших документов и кодовых баз, а также задачи в математике и науке. Модель использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture-of-Experts, отдельными слоями внимания и Multi-Token Prediction. Всего в ней 550 млрд параметров, из которых активно используются 55 млрд; метаданные указывают контекст до 262 144 токенов. README заявляет поддержку английского, французского, испанского, итальянского, немецкого, японского, хинди, корейского, бразильского португальского и китайского; теги карточки также включают арабский и иврит. Модель распространяется в формате safetensors, работает через Transformers и заявлена как пригодная для коммерческого и некоммерческого применения. Лицензия обозначена как other, поэтому перед использованием следует проверить её условия у разработчика.

cyankiwi/NVIDIA-Nemotron-Nano-9B-v2-AWQ-4bit — четырёхбитная AWQ-квантизованная версия NVIDIA-Nemotron-Nano-9B-v2, разработанная NVIDIA Corporation. Это текстовая большая языковая модель общего назначения, предназначенная для диалогов, следования инструкциям, генерации текста и кода, рассуждений, создания чат-ботов, RAG-систем, AI-агентов и других приложений на основе ИИ. Модель использует гибридную архитектуру Nemotron-Hybrid, сочетающую преимущественно слои Mamba-2 и MLP с четырьмя слоями Attention. Она поддерживает управляемый бюджет рассуждений: разрешение промежуточного reasoning обычно повышает качество на сложных задачах, но увеличивает расход токенов; отключение reasoning сокращает вывод с некоторым снижением точности. Модель принимает и генерирует текст, поддерживает контекст до 128K токенов. В README заявлена поддержка английского, немецкого, испанского, французского, итальянского и японского языков; в разделе параметров ввода также перечислены китайский, корейский, португальский и русский. Модель обучалась с использованием Megatron-LM и NeMo-RL, а её данные имеют отсечку сентября 2024 года. К сильным сторонам относятся сочетание возможностей рассуждения и обычного диалогового режима, большой контекст, поддержка управления бюджетом «мышления» и оптимизация для NVIDIA GPU. Ограничения включают текстовую модальность, зависимость от GPU-ускоренной инфраструктуры и потенциальное снижение качества при отключении reasoning или слишком малом бюджете рассуждений. Для запуска указаны Linux, Transformers и совместимость с NVIDIA A10G, A100 и H100-80GB; также заявлен runtime NeMo 25.07.nemotron-nano-v2. Использование регулируется NVIDIA Open Model License Agreement; для trial-сервиса дополнительно указаны NVIDIA API Trial Terms of Service.

dominguesm/NVIDIA-Nemotron-Nano-9B-v2-GGUF — GGUF-квантизированная версия языковой модели NVIDIA-Nemotron-Nano-9B-v2, разработанной NVIDIA Corporation и обученной с нуля. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения задач с рассуждением и без него, программирования, создания чат-ботов, AI-агентов, RAG-систем и других приложений на базе LLM. Данные предварительного обучения актуальны по сентябрь 2024 года, выпуск базовой модели состоялся 18 августа 2025 года. Модель имеет гибридную архитектуру Nemotron-Hybrid, объединяющую преимущественно слои Mamba-2 и MLP с четырьмя слоями Attention. Размер модели — около 9 млрд параметров. Поддерживается текстовый ввод и текстовый вывод, контекстное окно — до 128K токенов. Заявлена поддержка английского, немецкого, испанского, французского, итальянского и японского языков; в разделе характеристик ввода также указаны китайский, корейский, португальский и русский. Модель поддерживает управление бюджетом рассуждений во время инференса: включение рассуждений обычно повышает качество на сложных задачах, но увеличивает расход токенов, а отключение позволяет получать ответ без промежуточной трассы рассуждений с возможным снижением точности. К сильным сторонам относятся сочетание эффективности гибридной архитектуры с возможностями рассуждения, широкий контекст и пригодность для локального запуска в формате GGUF через совместимые инструменты. Ограничения включают зависимость качества и затрат от выбранного бюджета рассуждений, а также возможные ограничения квантизации по сравнению с полной версией модели. Использование регулируется NVIDIA Open Model License Agreement; в README также указано, что модель готова для коммерческого использования.

Qwen2.5-3B-Instruct-GPTQ-Int4 — инструкционно дообученная каузальная языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для диалоговых сценариев, генерации текста, следования инструкциям, работы со структурированными данными и вывода в формате JSON, а также для задач программирования и математики. Она поддерживает более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Модель содержит 3,09 млрд параметров, из которых 2,77 млрд не относятся к эмбеддингам, и включает 36 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в Attention QKV и связанные эмбеддинги слов; применяется GQA с 16 головами Q и 2 головами KV. Контекст составляет до 32 768 токенов, максимальная длина генерации — 8192 токена. Модель квантизована методом GPTQ до 4 бит, что может снизить требования к памяти по сравнению с исходной версией, однако конкретные показатели производительности и потери качества зависят от оборудования и сценария. К сильным сторонам относятся улучшенное следование инструкциям, генерация длинных текстов, понимание таблиц и других структурированных данных, создание структурированного вывода, а также поддержка широкого набора языков. Ограничения включают меньший размер по сравнению с крупными моделями семейства и возможное влияние 4-битной квантизации на качество. Для работы рекомендуется использовать актуальную версию библиотеки Transformers. Модель распространяется по лицензии qwen-research; точные условия определяются текстом лицензии в репозитории.

Qwen2-7B-Instruct — инструктивно дообученная языковая модель серии Qwen2, разработанная командой Qwen. Это плотная decoder-only модель на архитектуре Transformer с 7,1 млрд параметров, предназначенная для диалогов и генерации текста. Она подходит для ответов на вопросы, суммаризации, написания текстов, программирования, математики и рассуждений. Модель принимает текст и выдаёт текст. Карточка описывает поддержку нескольких естественных языков и кода; в метаданных указан английский язык. Заявленная длина контекста в метаданных — 32 768 токенов; README описывает расширение до 131 072 токенов с помощью YARN. Для запуска рекомендована версия Transformers 4.37.0 или новее, а README также приводит вариант развёртывания через vLLM. Модель демонстрирует сильные результаты в приведённых бенчмарках по пониманию и генерации языка, мультиязычным задачам, программированию, математике и рассуждениям. Расширенный контекст через YARN требует настройки и может снижать качество на коротких текстах при статическом масштабировании. Лицензия — Apache-2.0.

Qwen3.5-27B — мультимодальная модель семейства Qwen, разработанная командой Qwen. Это авторегрессионная языковая модель с vision encoder, предназначенная для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель поддерживает интеграцию с Hugging Face Transformers, vLLM, SGLang и KTransformers. Модель содержит 27 млрд параметров, 64 слоя и скрытое измерение 5120. В архитектуре сочетаются Gated Delta Networks и разреженная Mixture-of-Experts; также используются механизмы Gated Attention и multi-step training. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Мультимодальное обучение выполнено с ранним объединением визуальных и языковых токенов. К сильным сторонам относятся сочетание языковых и визуальных возможностей, высокая эффективность архитектуры, большой контекст и широкое языковое покрытие. Ограничения README не описывает подробно; фактическая производительность и требования к ресурсам зависят от сценария использования и программного окружения. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-MTP-GGUF — GGUF-версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen и подготовленной Unsloth. Это причинная языковая модель с vision encoder, поддерживающая обработку текста и изображений. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев, визуального понимания и вызова инструментов. Модель содержит около 9 млрд параметров, 32 слоя и гибридную архитектуру с Gated Delta Networks и разреженным Mixture-of-Experts; заявлены ранняя интеграция мультимодальных токенов и обучение с multi-step prediction (MTP). Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. MTP-режим со speculative decoding может ускорять генерацию примерно в 1,5–2 раза при использовании совместимой ветки llama.cpp. Сильные стороны модели — сочетание языковых и визуальных возможностей, большой контекст, поддержка инструментов и высокая скорость локального инференса в MTP-режиме. Ограничения включают необходимость специальной сборки llama.cpp для MTP; при таком запуске не поддерживаются параллелизм запросов через -np > 1 и параметр --mmproj. Доступна по лицензии Apache 2.0.

Gemma 3 12B IT — мультимодальная instruction-tuned модель семейства Gemma, разработанная Google DeepMind на основе исследований и технологий Gemini. Модель распространяется с открытыми весами и предназначена для взаимодействия по инструкциям с текстом и изображениями, генерируя текстовые ответы. Модель подходит для ответов на вопросы, суммаризации документов, рассуждений, анализа изображений, извлечения визуальной информации и генерации кода. Она принимает текстовые запросы и изображения, нормализованные до разрешения 896 × 896 и представленные 256 токенами на изображение. Для версии 12B заявлено входное контекстное окно до 128K токенов и максимальный объём генерируемого текста до 8192 токенов. Модель обучалась на данных более чем на 140 языках, включавших веб-документы, код, математические материалы и изображения. К сильным сторонам относятся мультимодальность, большой контекст, многоязычная поддержка и сравнительно компактный размер, позволяющий развёртывать модель на ноутбуках, настольных компьютерах или собственной облачной инфраструктуре при наличии подходящих ресурсов. Ограничения включают зависимость качества от языка, типа задачи и доступных вычислительных ресурсов, а также потенциальные риски, свойственные генеративным моделям. Модель распространяется по лицензии Gemma; условия использования определяются соответствующими Terms of Use.

cyankiwi/gemma-4-31B-it-AWQ-4bit — 4-битная AWQ-квантованная версия инструкционно дообученной модели google/gemma-4-31B-it. Базовую модель разработала Google DeepMind, а данную квантованную сборку опубликовал cyankiwi. Модель относится к семейству Gemma 4 и предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального анализа изображений. Модель использует плотную архитектуру с примерно 30,7 млрд параметров, гибридным вниманием с локальными скользящими окнами и глобальными слоями, контекстом до 256 тысяч токенов и поддержкой текстовых и графических входных данных с генерацией текста. В карточке указана поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. Квантование AWQ снижает требования к памяти и упрощает локальное развертывание, однако может немного ухудшать качество по сравнению с полноразмерной версией; конкретные системные требования и результаты бенчмарков для этой сборки не указаны. Модель распространяется по лицензии Apache 2.0 с учетом условий лицензии Gemma 4.

GigaChat3-10B-A1.8B — диалоговая языковая модель семейства GigaChat, опубликованная под идентификатором ai-sage/GigaChat3-10B-A1.8B. Она предназначена для генерации и обработки текста, включая диалоговые сценарии, ответы на вопросы, работу с математическими и академическими задачами, программированием и структурированием информации. Модель дообучена на высококачественных SFT-данных поверх базовой версии GigaChat3-10B-A1.8B-base. Модель использует архитектуру Mixture-of-Experts с 10 миллиардами общих и 1,8 миллиарда активных параметров. В архитектуре применяются Multi-head Latent Attention (MLA), снижающая требования к памяти за счёт сжатия KV-кэша, и Multi-Token Prediction (MTP), поддерживающая ускоренную спекулятивную или параллельную генерацию. Модель ориентирована на высокопроизводительный инференс в формате fp8; также доступна версия bf16. В README указана поддержка русского и английского языков, а обучающие данные охватывают всего 10 языков, включая китайский, арабский, узбекский и казахский. Размер контекста в доступных данных не указан. К сильным сторонам относятся высокая пропускная способность, сниженные требования к памяти благодаря MLA и потенциальное ускорение генерации до 40% при использовании MTP. Приведённые бенчмарки показывают конкурентные результаты в русскоязычных и англоязычных задачах, математике и программировании, однако показатели зависят от методики оценки и конфигурации инференса. Ограничения модели, включая возможные ошибки, галлюцинации и неравномерное качество по языкам и задачам, отдельно не описаны. Лицензия модели — MIT.

MuXodious выпустил дообученную версию Ministral-3-8B-Reasoning-2512, созданную с помощью движка Heretic и метода abliteration. Это плотная мультимодальная модель семейства Mistral 3: языковая часть содержит 8,4 млрд параметров, а зрительный энкодер — 0,4 млрд. Репозиторий содержит веса Safetensors; для запуска указана библиотека vLLM, а README также сообщает о необходимости Transformers v5 для работы через Transformers. Модель предназначена для диалогов и многошаговых рассуждений, включая математические и научные вопросы, программирование, анализ изображений и документов, перевод и агентные сценарии с вызовом функций и JSON-выводом. Она принимает текст и изображения, отвечает текстом и поддерживает контекст до 256 тыс. токенов. Заявлена поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. Автор описывает модель как сильно менее склонную к отказам после abliteration; это может привести к выдаче небезопасных ответов, поэтому её следует применять с осторожностью. Для работы с изображениями рекомендуется сохранять близкое к квадратному соотношение сторон. Лицензия Apache 2.0 разрешает использование и модификацию, в том числе в коммерческих целях.

stelterlab/Mistral-Small-24B-Instruct-2501-AWQ — инструкционная языковая модель на базе Mistral-Small-24B-Instruct-2501, разработанной командой Mistral AI. Данная версия дополнительно квантизирована stelterlab в формате INT4 GEMM с использованием AutoAWQ. Модель содержит 24 млрд параметров и рассчитана на локальный запуск, включая работу на одной видеокарте RTX 4090 или MacBook с 32 ГБ оперативной памяти после квантизации. Модель предназначена для диалоговых приложений с быстрым откликом, агентских сценариев, вызова функций, генерации JSON, задач общего назначения и последующей предметной донастройки. Она поддерживает многоязычную работу, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Заявлены развитые возможности рассуждения, следования системным инструкциям и агентского взаимодействия. Контекстное окно составляет 32 тысячи токенов, используется токенизатор Tekken со словарём размером 131 тысяча элементов. К сильным сторонам относятся сочетание относительно компактного размера, локального развертывания, низкой задержки и поддержки function calling и структурированного вывода. Ограничения связаны с INT4-квантизацией, которая может снижать точность по сравнению с исходными весами, а также с тем, что результаты бенчмарков не гарантируют аналогичное качество в конкретных прикладных задачах. Модель распространяется под лицензией Apache 2.0, допускающей использование и модификацию в коммерческих и некоммерческих целях.

NVIDIA Nemotron-3-Super-120B-A12B-BF16-heretic-v2 — это модифицированная сообществом версия языковой модели NVIDIA Nemotron-3-Super-120B-A12B-BF16. В ней применена аблитерация слоёв 23–61, снижающая частоту отказов: в приведённой оценке отказы были в 11 случаях из 100 против 100 из 100 у исходной модели. Модель содержит 120 млрд параметров, из которых 12 млрд активны; её гибридная архитектура LatentMoE сочетает Mamba-2, MoE, слои внимания и Multi-Token Prediction. Репозиторий использует формат safetensors и библиотеку Transformers, поддерживает контекст до 262 144 токенов по метаданным и генерацию текста в диалоговых сценариях. Модель предназначена для рассуждений, чата, следования инструкциям, задач с длинным контекстом и создания агентных систем, включая чат-боты, RAG и автоматизацию IT-заявок. Заявлены английский, французский, испанский, итальянский, немецкий, японский и китайский языки; также модель подходит для кода. README называет исходную модель коммерчески применимой, но лицензия этой производной указана как other, поэтому условия её использования следует уточнить в репозитории. Модель снижает склонность к отказам, что может быть нежелательно в сценариях, где важна строгая фильтрация запросов.

cyankiwi/Qwen3.5-27B-AWQ-4bit — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-27B, разработанной командой Qwen. Модель представляет собой каузальную языковую модель с vision encoder и предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит 27 млрд параметров и использует гибридную архитектуру с Gated Delta Networks и разреженным Mixture-of-Experts; в языковой части заявлены 64 слоя и скрытая размерность 5120. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Поддерживается 201 язык и диалект. Квантизация AWQ до 4 бит снижает требования к памяти и может повысить практическую эффективность инференса, но потенциально сопровождается некоторой потерей качества по сравнению с полной точностью. Модель совместима с Hugging Face Transformers, vLLM, SGLang и KTransformers. README указывает лицензию Apache 2.0. Конкретные требования к аппаратному обеспечению, ограничения безопасности и подробные результаты для данной AWQ-версии не приведены.

cyankiwi/Qwen3.5-4B-AWQ-4bit — 4-битная AWQ-квантизованная версия модели Qwen3.5-4B, созданной командой Qwen; репозиторий содержит веса и конфигурацию в формате Hugging Face Transformers. Модель предназначена для локального и серверного инференса в задачах генерации текста, рассуждений, программирования, агентских сценариев и анализа изображений. Это мультимодальная авторегрессионная языковая модель с vision encoder и унифицированным vision-language обучением. Она содержит около 4 млрд параметров, 32 слоя и гибридную архитектуру с Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Указана поддержка 201 языка и диалекта. Модель совместима с Transformers, vLLM, SGLang и KTransformers. К основным преимуществам относятся сочетание текстовых и визуальных возможностей, высокая эффективность архитектуры и сниженные требования к памяти благодаря 4-битной AWQ-квантизации. К ограничениям относятся возможные потери качества и точности по сравнению с полной версией Qwen3.5-4B из-за квантизации, а также отсутствие в предоставленных данных подробностей о фактических требованиях к оборудованию и результатах именно этой AWQ-сборки. Модель распространяется по лицензии Apache-2.0.

hamishivi/Qwen3.5-9B — дообученная мультимодальная модель на 9 млрд параметров, основанная на Qwen/Qwen3.5-9B-Base. Это причинная языковая модель с визуальным энкодером, реализованная в архитектуре Qwen3.5 и представленная в формате Transformers с весами safetensors; она поддерживает чат и интерфейс вызова инструментов. Модель предназначена для диалога и рассуждений по тексту и изображениям, визуального понимания, программирования и агентных сценариев с использованием инструментов. В README заявлена поддержка 201 языка и диалекта. Контекст составляет 262 144 токена и может расширяться до 1 010 000 токенов; по умолчанию модель работает в режиме рассуждений. Архитектура сочетает Gated Delta Networks и разреженную смесь экспертов. Для обслуживания доступны Transformers, vLLM, SGLang и KTransformers; README рекомендует современные версии этих фреймворков и специализированные движки для высокой пропускной способности. Длинный контекст может требовать значительных ресурсов памяти. Лицензия — Apache-2.0.

unsloth/Qwen3.5-9B-GGUF — GGUF-версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen и подготовленной Unsloth. Это каузальная языковая модель с vision encoder, предназначенная для локального запуска, генерации и анализа текста, программирования, рассуждений, агентских сценариев и обработки визуальной информации. Модель также поддерживает локальное дообучение с помощью Unsloth. Модель содержит около 9 млрд параметров и использует гибридную архитектуру с Gated Delta Networks, разреженным Mixture-of-Experts и блоками Gated Attention. В конфигурации заявлены 32 слоя, скрытая размерность 4096 и нативная длина контекста 262 144 токена с возможностью расширения до 1 010 000 токенов. Модель обучена для работы с мультимодальными токенами и заявляет поддержку 201 языка и диалекта. Репозиторий ориентирован на экосистему GGUF и локальный инференс, однако конкретный уровень квантования в предоставленных данных не указан. Сильными сторонами являются сочетание языковых и визуальных возможностей, большой контекст, энергоэффективная архитектура и широкий языковой охват. Ограничения включают отсутствие в предоставленных данных подробных результатов именно для GGUF-варианта, сведений о требованиях к оборудованию и точных характеристик квантования; фактическое качество и скорость могут зависеть от используемого рантайма и уровня квантования. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B Q4_K_M GGUF — это 4-битная квантованная версия языково-мультимодальной модели Qwen3.5-9B, первоначально разработанной Alibaba Cloud. Конвертацию в формат GGUF выполнила Unsloth, а квантование и оптимизацию для локального запуска на устройствах Apple — jc-builds. Модель распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста, рассуждений, программирования, использования инструментов, анализа изображений и работы с документами и видео. Она поддерживает режим рассуждений с блоками <think>...</think>, ChatML-формат запросов и ориентирована прежде всего на приватный автономный запуск через llama.cpp, включая iPhone, iPad и Mac с Apple Silicon. Для iOS она доступна в приложении HaploAI. Архитектура сочетает Gated DeltaNet и полное Gated Attention в соотношении 3:1 и включает 32 слоя, скрытое измерение 4096, GQA с 16 query-heads и 4 KV-heads, а также FFN с промежуточным размером 12288. Модель содержит около 9 млрд параметров, занимает примерно 5,3 ГБ, поддерживает контекст до 262 144 токенов с возможностью расширения свыше 1 млн через YaRN и заявляет поддержку 201 языка и диалекта, включая русский, английский, китайский, японский, корейский и европейские языки. Нативная мультимодальность основана на раннем слиянии визуальных данных. К сильным сторонам относятся высокая заявленная эффективность для модели такого размера, большой контекст, мультимодальность, широкий языковой охват и возможность локального использования без передачи данных в облако. Ограничения включают значительные требования к памяти: для комфортной работы рекомендуется устройство с минимум 8 ГБ RAM, а на старых iPhone с 6 ГБ модель не рекомендуется. Приведённые результаты бенчмарков и скорости зависят от реализации, устройства и настроек запуска.

Это квантованная в формате NVFP4 сборка Qwen3.8-27B от FreedomAISVR для запуска через llama.cpp на видеокартах NVIDIA Blackwell. В основе — плотная мультимодальная модель с архитектурой Qwen3_5ForConditionalGeneration и 27 млрд параметров языковой модели; репозиторий содержит GGUF-веса и отдельный F16-проектор изображений. Модель принимает текст и изображения, а также предназначена для понимания видео. Она подходит для диалогов, анализа изображений и документов, программирования, исследований и многошаговых агентных задач. Режим рассуждений включён по умолчанию и может настраиваться. NVFP4 уменьшает размер весов, но README отмечает, что на потребительских RTX 50 decode может быть медленнее, чем у MXFP4; для запуска рекомендованы Blackwell GPU с 16 ГБ или более видеопамяти. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next — открытая по весам мультимодальная модель семейства Qwen, представленная как первый релиз архитектуры Qwen4-экспериментального семейства. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, работы с изображениями и агентных сценариев, включая задачи программирования и длительные рабочие процессы. В карточке описаны возможности вызова инструментов и режим рассуждения, включённый по умолчанию. Модель имеет разреженную MoE-архитектуру: 125 млрд параметров, из которых активируются 6 млрд, дополнительно 51 млрд параметров приходится на n-граммные эмбеддинги и 4 млрд — на MTP. Архитектура сочетает Gated DeltaNet и Qwen Sparse Attention, а также использует Gated Residual. Контекстное окно составляет 262 144 токена и может расширяться до 1 000 000 токенов. В карточке приведены оценки на агентных, программных и визуально-языковых бенчмарках, однако таблицы результатов и таблица языков опущены. Разработчик позиционирует модель для API-интеграции и рекомендует этот способ использования. Репозиторий содержит веса Safetensors; лицензия указана как other, поэтому условия использования следует уточнить в материалах разработчика. В предоставленных данных нет списка поддерживаемых языков и конкретных ограничений по качеству или применению.

Карточка модели SwinliQ-AI-2/Qwen3.8-Flash-Next на Hugging Face совпадает с карточкой Qwen/Qwen3.8-Flash-Next, поэтому описание составлено по ней. Qwen3.8-Flash-Next — открытая по весам мультимодальная модель семейства Qwen, представленная как первый релиз архитектуры Qwen4-экспериментального семейства. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, работы с изображениями и агентных сценариев, включая задачи программирования и длительные рабочие процессы. В карточке описаны возможности вызова инструментов и режим рассуждения, включённый по умолчанию. Модель имеет разреженную MoE-архитектуру: 125 млрд параметров, из которых активируются 6 млрд, дополнительно 51 млрд параметров приходится на n-граммные эмбеддинги и 4 млрд — на MTP. Архитектура сочетает Gated DeltaNet и Qwen Sparse Attention, а также использует Gated Residual. Контекстное окно составляет 262 144 токена и может расширяться до 1 000 000 токенов. В карточке приведены оценки на агентных, программных и визуально-языковых бенчмарках, однако таблицы результатов и таблица языков опущены. Разработчик позиционирует модель для API-интеграции и рекомендует этот способ использования. Репозиторий содержит веса Safetensors; лицензия указана как other, поэтому условия использования следует уточнить в материалах разработчика. В предоставленных данных нет списка поддерживаемых языков и конкретных ограничений по качеству или применению.

unsloth/gemma-4-12b-it-NVFP4 — квантизированная версия instruction-tuned модели Gemma 4 12B, подготовленная Unsloth на базе Google Gemma 4 12B-it. Исходную модель разработала Google DeepMind. Вариант предназначен для локального запуска и дообучения, в том числе на потребительских GPU, а также для использования в vLLM и Unsloth Studio. Модель поддерживает мультимодальный ввод: текст, изображения, аудио и видео, при этом генерирует текст. Она рассчитана на генерацию текста, программирование, рассуждения, мультимодальное понимание и агентские сценарии с нативным вызовом функций. Семейство Gemma 4 поддерживает более 140 языков, режимы настраиваемого рассуждения, системные сообщения и контекст до 256 тысяч токенов для моделей среднего размера. Архитектура семейства использует гибридное внимание с чередованием локального скользящего и глобального внимания; конкретные дополнительные параметры архитектуры этой версии в карточке не указаны. NVFP4-квантизация уменьшает требования к памяти и ориентирована на эффективное выполнение, однако карточка не приводит количественных оценок влияния квантизации на качество или подробных ограничений модели. Для запуска рекомендуется vLLM с автоматическим выбором NVFP4-ядра; использование Marlin не рекомендуется из-за снижения скорости. Модель распространяется по лицензии Apache 2.0.

wnfldchen/gemma-4-12B-it-qat-q4_0-unquantized-heretic — производная инструкционная мультимодальная модель на архитектуре Gemma 4 Unified, дообученная на google/gemma-4-12B-it-qat-q4_0-unquantized. В карточке описаны возможности семейства Gemma 4: гибридное внимание, анализ изображений и видео, работа с аудио для модели 12B, генерация текста и кода, рассуждения и вызов инструментов. Для этой версии заявлены форматы safetensors и лицензия Apache-2.0. Модель подходит для диалоговых помощников, разбора изображений и документов, распознавания речи и перевода аудио в текст, а также для создания и исправления кода. Семейство Gemma 4 поддерживает более 35 языков и было предварительно обучено на более чем 140 языках; для вариантов 12B заявлен контекст до 256K токенов. README описывает базовое семейство, поэтому эти сведения относятся к данной версии с учётом того, что она основана на модели 12B. Модель может ошибаться в фактах, упускать языковые нюансы и воспроизводить смещения из обучающих данных; сложные или недостаточно чётко сформулированные запросы могут ухудшать результат. Тегами версия обозначена как uncensored/abliterated, поэтому при развёртывании стоит учитывать её ориентацию на менее ограниченные ответы. Условия лицензии — Apache-2.0.

unsloth/gemma-4-31B — дообученная Unsloth версия мультимодальной плотной модели Gemma 4 31B от Google DeepMind. Она принимает текст и изображения и формирует текстовые ответы; заявленные сценарии включают диалог, рассуждения, программирование и визуальный анализ. Модель использует гибридное внимание с локальными скользящими окнами и глобальным вниманием. Для семейства Gemma 4 31B заявлено контекстное окно до 256 тыс. токенов и поддержка более 35 языков; эти характеристики указаны для семейства, а не подтверждены отдельно для данной версии. Подходит для анализа изображений, извлечения текста из документов и графиков, ответов на вопросы по визуальному содержимому, генерации и исправления кода, суммаризации и диалоговых помощников. Карточка также описывает вызов функций и обработку видео для Gemma 4, но метаданные этой модели подтверждают только обработку изображений и текста. Аудио поддерживают только варианты E2B и E4B, поэтому эти возможности не относятся к версии 31B. Модель распространяется по лицензии Apache-2.0. Ответы могут содержать фактические ошибки, а результаты зависят от качества обучающих данных и формулировки запроса.

unsloth/gemma-4-E4B-it-GGUF — это квантизированная в формате GGUF instruction-tuned версия мультимодальной модели Gemma 4 E4B, основанная на google/gemma-4-E4B-it. Семейство Gemma 4 разработано Google DeepMind, а данный вариант подготовлен Unsloth. Модель распространяется с открытыми весами и предназначена для локального запуска, в том числе на ноутбуках и мобильных устройствах, а также для использования в Unsloth Studio и совместимых инструментах GGUF. Модель принимает текст и изображения, а также аудио для малых моделей Gemma 4, включая E4B, и генерирует текст. Она подходит для генерации текста, рассуждений, анализа изображений, программирования, агентских сценариев и вызова функций. Для семейства заявлены поддержка более 140 языков, настраиваемые режимы рассуждения, native function calling и поддержка системных сообщений. E4B имеет 4,5 млрд эффективных параметров, около 8 млрд параметров с учётом embedding-слоёв, 42 слоя, окно контекста 128K токенов и размер словаря 262K. Визуальный энкодер содержит около 150 млн параметров, аудиоэнкодер — около 300 млн. Архитектура использует гибридное внимание, сочетающее локальное sliding-window attention с глобальным вниманием; размер локального окна E4B составляет 512 токенов. Это позволяет снизить требования к памяти и ускорить обработку длинных контекстов, сохраняя глобальное представление информации. Квантизация GGUF может уменьшать требования к ресурсам и упрощать локальное развертывание, однако конкретные характеристики скорости, качества и потребления памяти зависят от варианта квантизации и используемого рантайма. Лицензия — Apache 2.0.

MuXodious выпустил дообученную модель Gemma 4 E4B Instruct, созданную с помощью Heretic v1.2.0 и методов abliteration. По карточке, исходная модель Google DeepMind — плотная мультимодальная Gemma 4 E4B Instruct; модель принимает текст и изображения, а семейство поддерживает также аудио на вариантах E2B и E4B. Для Gemma 4 E4B указано контекстное окно 128K токенов. Дообучение нацелено на снижение отказов: в приведённом тесте осталось 12 отказов из 416 запросов, при 414 отказах у исходной модели. Модель подходит для диалога и генерации текста, анализа изображений и документов, программирования и рассуждений. Карточка не приводит отдельного описания датасета или подробной оценки качества этой производной модели; её результаты могут отличаться от исходной Gemma 4. Репозиторий распространяется под лицензией Apache-2.0.

llmfan46/gemma-4-E4B-it-ultra-uncensored-heretic — производная от Google Gemma 4 E4B Instruct мультимодальная модель, дообученная независимым автором. В основе — плотная архитектура Gemma4ForConditionalGeneration с чередованием локального оконного и глобального внимания. Модель рассчитана на диалог, рассуждения, программирование и понимание мультимодальных данных; для варианта E4B заявлено контекстное окно до 128 тыс. токенов. Модель принимает текст и изображения, а семейство E4B также поддерживает аудиовход для распознавания речи и перевода речи в текст. Gemma 4 заявлена как многоязычное семейство с поддержкой более 35 языков; конкретный языковой охват этой производной отдельно не описан. Возможны извлечение текста из документов и изображений, понимание диаграмм и интерфейсов, генерация и исправление кода, суммаризация и диалог. Название uncensored указывает на изменённое поведение отказов, но README не раскрывает точный объём изменений. Карточка предупреждает о возможных предвзятости, фактических ошибках, затруднениях с нюансами языка и сложными открытыми задачами. Модель распространяется по лицензии Apache-2.0.

unsloth/granite-4.0-micro-unsloth-bnb-4bit — 4-битная квантованная версия Granite-4.0-Micro, разработанная Unsloth на базе модели IBM Granite Team. Исходная модель — инструкционная языковая модель с 3 млрд параметров, дообученная IBM на открытых наборах инструкций с разрешительными лицензиями и внутренних синтетических данных с применением supervised fine-tuning, reinforcement learning и объединения моделей. Модель предназначена для корпоративных приложений, ассистентов и LLM-агентов с поддержкой вызова инструментов. Модель подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, программирования, function calling, многоязычного диалога и Fill-In-the-Middle-дополнения кода. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Указана поддержка длинного контекста, однако его точный размер в README не приведён. Ключевые сильные стороны — улучшенное следование инструкциям, tool calling и сниженные требования к памяти благодаря 4-битному формату; ограничения квантования и точные характеристики производительности не указаны. Распространяется по лицензии Apache 2.0. Для работы используется библиотека Transformers и формат bnb-4bit; README не содержит подробностей о точной архитектуре квантования, размере контекстного окна или результатах бенчмарков именно этой версии.

InternLM2-7B — плотная авторегрессионная языковая модель второго поколения InternLM, разработанная командой InternLM. Это базовая модель для продолжения текста и адаптации под прикладные задачи; README отдельно рекомендует версию internlm2 для большинства применений, а чат-версии описывает как отдельные варианты. Модель содержит 7,4 млрд параметров и поддерживает контекст до 32 768 токенов согласно метаданным. Разработчик заявляет о сильных результатах на задачах длинного контекста, рассуждений, математики и программирования, включая поиск сведений в длинных текстах. Модель принимает текст и генерирует текст; сведения о конкретных поддерживаемых естественных языках в источниках отсутствуют. Как и другие вероятностные языковые модели, InternLM2-7B может выдавать фактические ошибки, предвзятые или вредоносные ответы. Код распространяется по Apache-2.0; для весов README указывает академический доступ и возможность запросить бесплатное коммерческое разрешение, поэтому условия использования весов следует сверять с лицензией и соответствующим разрешением.

sakamakismile/LFM2.5-8B-A1B-NVFP4 — это квантизированная версия LiquidAI/LFM2.5-8B-A1B, подготовленная Lna-Lab с использованием NVIDIA TensorRT Model-Optimizer. Модель представляет собой гибридную mixture-of-experts-архитектуру LFM2 с 8,3 млрд общих параметров и примерно 1,5 млрд активных параметров; из 24 слоёв только 6 используют механизм внимания, остальные основаны на коротких свёртках. Применена NVFP4-квантизация W4A4 с 4-битными весами и активациями. Модель предназначена для генерации текста, рассуждений, многоязычного общения, генерации кода и агентских сценариев с вызовом инструментов. Заявлена поддержка английского, арабского, китайского, французского, немецкого, японского, корейского, испанского и португальского языков. Нативная длина контекста составляет до 131 072 токенов. Ключевое преимущество сборки — низкое потребление видеопамяти и высокая пропускная способность: она рассчитана на запуск на одной 16-ГБ видеокарте NVIDIA Blackwell и оставляет значительный объём памяти под KV-кэш, что позволяет обслуживать множество параллельных сессий. Модель поддерживает явный блок рассуждений <think> и использование инструментов через шаблон чата; для развёртывания рекомендуется vLLM с параметрами modelopt и, при необходимости, парсером deepseek_r1. Ограничения включают зависимость от совместимой NVIDIA Blackwell GPU и стека vLLM с поддержкой modelopt, а также необходимость правильно указать квантизацию при загрузке. Лицензия указана как lfm1.0; подробные условия приведены в файле LICENSE.