II.8Инженерия данных и аналитика

granite-4.0-tiny-preview-GGUF — GGUF-квантизированные варианты 7-миллиардной instruct-модели Granite-4.0-Tiny-Preview, разработанной командой Granite компании IBM и преобразованной с помощью llama.cpp. Базовая модель — ibm-granite/granite-4.0-tiny-base-preview. Модель представляет собой гибридную fine-grained Mixture-of-Experts (MoE) архитектуру и дообучена на открытых наборах инструкций с разрешительными лицензиями и синтетических данных для задач с длинным контекстом. Дата выпуска исходной модели — 2 мая 2025 года. Модель предназначена для общего следования инструкциям и интеграции в AI-ассистентов, в том числе для бизнес-приложений. Она поддерживает рассуждения, суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation (RAG), программирование, function calling, многоязычный диалог, а также обработку длинных документов и совещаний. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Ключевая особенность данного репозитория — применение автором дополнительного повышения точности отдельных важных слоёв при квантовании через параметр --tensor-type в llama.cpp. Это может улучшать точность при низкой битности, особенно для MoE-моделей, но увеличивает размер файлов. Конкретный формат квантования и его характеристики зависят от выбранного варианта GGUF. Для запуска требуется совместимое ПО, например llama.cpp; README указывает генерацию моделей на коммите adef8178. Модель распространяется по лицензии Apache 2.0. В README не указаны точный размер контекстного окна, конкретные уровни квантования и результаты бенчмарков для данного GGUF-варианта.

dominguesm/NVIDIA-Nemotron-Nano-9B-v2-GGUF — GGUF-квантизированная версия языковой модели NVIDIA-Nemotron-Nano-9B-v2, разработанной NVIDIA Corporation и обученной с нуля. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения задач с рассуждением и без него, программирования, создания чат-ботов, AI-агентов, RAG-систем и других приложений на базе LLM. Данные предварительного обучения актуальны по сентябрь 2024 года, выпуск базовой модели состоялся 18 августа 2025 года. Модель имеет гибридную архитектуру Nemotron-Hybrid, объединяющую преимущественно слои Mamba-2 и MLP с четырьмя слоями Attention. Размер модели — около 9 млрд параметров. Поддерживается текстовый ввод и текстовый вывод, контекстное окно — до 128K токенов. Заявлена поддержка английского, немецкого, испанского, французского, итальянского и японского языков; в разделе характеристик ввода также указаны китайский, корейский, португальский и русский. Модель поддерживает управление бюджетом рассуждений во время инференса: включение рассуждений обычно повышает качество на сложных задачах, но увеличивает расход токенов, а отключение позволяет получать ответ без промежуточной трассы рассуждений с возможным снижением точности. К сильным сторонам относятся сочетание эффективности гибридной архитектуры с возможностями рассуждения, широкий контекст и пригодность для локального запуска в формате GGUF через совместимые инструменты. Ограничения включают зависимость качества и затрат от выбранного бюджета рассуждений, а также возможные ограничения квантизации по сравнению с полной версией модели. Использование регулируется NVIDIA Open Model License Agreement; в README также указано, что модель готова для коммерческого использования.

unsloth/Qwen3-14B-unsloth-bnb-4bit — 4-битная версия модели Qwen3-14B, подготовленная Unsloth на базе Qwen/Qwen3-14B, разработанной командой Qwen. Это авторегрессионная языковая модель для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, ролевого взаимодействия и агентских сценариев с использованием внешних инструментов. Модель содержит 14,8 млрд параметров, из которых 13,2 млрд не относятся к embedding, и включает 40 слоёв. Используется Grouped-Query Attention с 40 головами для Q и 8 для KV. Поддерживаются режимы рассуждения и обычного ответа, между которыми можно переключаться в рамках одной модели. Заявлена поддержка более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов. Ключевое преимущество этой версии — 4-битное представление, снижающее требования к памяти и удобное для локального запуска и дообучения. Ограничения включают возможное снижение точности по сравнению с полноформатной моделью из-за квантования, а также высокие вычислительные требования, связанные с размером 14B. README не содержит подробных результатов бенчмарков и требований к конкретному оборудованию. Модель распространяется по лицензии Apache-2.0. Для работы рекомендуется использовать актуальную версию библиотеки transformers; в README указано, что версии ниже 4.51.0 могут вызывать ошибку, связанную с поддержкой Qwen3.

Карточка модели shrawanp/Qwen3.5-122B-A10B на Hugging Face совпадает с карточкой Qwen/Qwen3.5-122B-A10B, поэтому описание составлено по ней. Qwen3.5-122B-A10B — мультимодальная причинная языковая модель с визуальным энкодером, разработанная командой Qwen. Репозиторий содержит постобученные веса и конфигурацию в формате Transformers; модель сочетает Gated Delta Networks с разреженной архитектурой Mixture-of-Experts. Всего в модели 122 млрд параметров, из которых при генерации активируются 10 млрд; предусмотрено 256 экспертов, 8 маршрутизируемых и один общий активируются для каждого шага. Модель предназначена для диалога и решения задач по тексту и изображениям, включая рассуждения, программирование, понимание визуального содержимого и работу с инструментами. README также описывает обработку видео и расширенный контекст. Нативное окно контекста — 262 144 токена, с возможностью расширения до 1 010 000. Заявлена поддержка 201 языка и диалекта; точный перечень языков в предоставленной карточке опущен. Среди сильных сторон — сочетание мультимодального понимания, инструментального взаимодействия и разреженной архитектуры, рассчитанной на эффективный инференс. Для запуска требуются совместимые версии Transformers или специализированные движки, например vLLM, SGLang или KTransformers; производительность и расход памяти зависят от инфраструктуры, а README предупреждает о риске нехватки памяти при большом контексте. Лицензия — Apache-2.0.

unsloth/Qwen3.5-35B-A3B-GGUF — GGUF-версия мультимодальной модели Qwen3.5-35B-A3B, подготовленная Unsloth. Модель предназначена для локального запуска и применения в диалоговых системах, генерации и анализе текста, программировании, агентских сценариях, работе с изображениями и вызове инструментов. Для работы доступны варианты квантования, а также настройки включения и отключения режима рассуждений. Модель представляет собой авторегрессионную языковую модель с vision encoder и гибридной архитектурой, объединяющей Gated Delta Networks и разреженный Mixture-of-Experts. Всего заявлено 35 млрд параметров, из которых активируется 3 млрд; размер скрытого представления составляет 2048, используется 40 слоёв и словарь размером 248 320 токенов. Модель поддерживает 201 язык и диалект, а её мультимодальность позволяет обрабатывать текст и изображения. GGUF-файлы обновлены с использованием улучшенных данных и алгоритма квантования, что ориентировано на более высокую точность при локальном инференсе. К сильным сторонам относятся сочетание мультимодального понимания, рассуждений, программирования и агентских задач с относительно низким числом активных параметров, а также возможность локального запуска через совместимые инструменты. Ограничения связаны с использованием квантованных вариантов: конкретные характеристики качества, требования к памяти, контекстное окно и поддерживаемые форматы зависят от выбранного файла и среды инференса; для данной GGUF-сборки они в README не уточнены. Модель распространяется по лицензии Apache-2.0.

Smoffyy/Qwen3.5-9B-Instruct-Pure-GGUF — квантизированная версия официальной модели Qwen3.5-9B, созданная автором Smoffyy на основе исходных весов Qwen с использованием официальных инструментов llama.cpp. Модель распространяется в формате GGUF и позиционируется как «чистая» квантизация без изменений или дополнительных модификаций весов. Модель предназначена для задач генерации текста, рассуждений, программирования, агентских сценариев и мультимодального понимания изображений. Это единая vision-language модель с гибридной архитектурой, объединяющей Gated Delta Networks и разреженную Mixture-of-Experts. Указана поддержка 201 языка и диалекта. Для работы с изображениями требуется дополнительный файл mmproj-f16.gguf. Доступен управляемый режим рассуждений через параметр enable_thinking в API или конфигурацию шаблона чата. Основное преимущество модели — сохранение исходных официальных весов при уменьшении требований к памяти благодаря квантизации. Доступны варианты с разным соотношением качества и размера, включая q4_k_m, q5_k_m и q8_0; при контексте 64k вариант q4_k_m использует около 10 ГБ памяти. Ограничения зависят от выбранного уровня квантизации и оборудования: более компактные варианты могут уступать исходной модели по качеству, а для визуальных возможностей необходим отдельный проектор. Модель и производные распространяются по лицензии Apache 2.0.

Qwen3.5-9B-MTP-GGUF — GGUF-версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen и подготовленной Unsloth. Это причинная языковая модель с vision encoder, поддерживающая обработку текста и изображений. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев, визуального понимания и вызова инструментов. Модель содержит около 9 млрд параметров, 32 слоя и гибридную архитектуру с Gated Delta Networks и разреженным Mixture-of-Experts; заявлены ранняя интеграция мультимодальных токенов и обучение с multi-step prediction (MTP). Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. MTP-режим со speculative decoding может ускорять генерацию примерно в 1,5–2 раза при использовании совместимой ветки llama.cpp. Сильные стороны модели — сочетание языковых и визуальных возможностей, большой контекст, поддержка инструментов и высокая скорость локального инференса в MTP-режиме. Ограничения включают необходимость специальной сборки llama.cpp для MTP; при таком запуске не поддерживаются параллелизм запросов через -np > 1 и параметр --mmproj. Доступна по лицензии Apache 2.0.

Qwen3.8-27B-GGUF — мультимодальная модель семейства Qwen, разработанная командой Qwen и представленная в формате GGUF пользователем prithivMLmods. Это плотная causal language model на 27 млрд параметров с собственным vision encoder, предназначенная для генерации и понимания текста, анализа изображений и видео, визуального вопросно-ответного взаимодействия, OCR, описания изображений и видео, понимания документов, визуального рассуждения, а также агентных задач, включая написание кода и взаимодействие с компьютером, браузером и мобильными устройствами. Модель использует 64-слойную гибридную архитектуру с блоками линейного внимания Gated DeltaNet и периодическими слоями Gated Attention, обучалась с Multi-Token Prediction и поддерживает контекст до 262 144 токенов с возможностью расширения до 1 млн токенов через YaRN. Указаны языки English и Chinese. Доступны варианты GGUF с точностями от Q2_K до Q8_0, а также BF16 и F16; размеры файлов составляют примерно от 10,9 до 54,7 ГБ, что позволяет выбирать компромисс между качеством и требованиями к ресурсам. Формат MTP GGUF интегрирует дополнительные выходные головы для ускорения инференса посредством предсказания нескольких будущих токенов за один проход. Сильными сторонами заявлены мультимодальность, большой контекст, поддержка управляемого уровня рассуждений через параметр reasoning_effort и высокая эффективность в задачах агентного программирования, computer-use и мультимодального использования инструментов. Ограничениями являются значительные требования к памяти, особенно для BF16 и F16, а также зависимость возможностей от выбранной квантизации и совместимого программного обеспечения. Модель совместима с Hugging Face Transformers, vLLM, SGLang, TokenSpeed и llama.cpp. Распространяется по лицензии Apache-2.0.

cyankiwi/gemma-4-31B-it-AWQ-4bit — 4-битная AWQ-квантованная версия инструкционно дообученной модели google/gemma-4-31B-it. Базовую модель разработала Google DeepMind, а данную квантованную сборку опубликовал cyankiwi. Модель относится к семейству Gemma 4 и предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального анализа изображений. Модель использует плотную архитектуру с примерно 30,7 млрд параметров, гибридным вниманием с локальными скользящими окнами и глобальными слоями, контекстом до 256 тысяч токенов и поддержкой текстовых и графических входных данных с генерацией текста. В карточке указана поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. Квантование AWQ снижает требования к памяти и упрощает локальное развертывание, однако может немного ухудшать качество по сравнению с полноразмерной версией; конкретные системные требования и результаты бенчмарков для этой сборки не указаны. Модель распространяется по лицензии Apache 2.0 с учетом условий лицензии Gemma 4.

unsloth/gemma-4-31B-it-qat-w4a16 — инструктивно дообученная мультимодальная модель семейства Gemma 4, разработанная Google DeepMind. Это вариант с Quantization-Aware Training (QAT), представленный в формате compressed-tensors w4a16 для оптимизированного инференса через vLLM. Модель принимает текст и изображения и генерирует текст; поддерживает более 140 языков и контекст до 256K токенов. Аудиовход для версии 31B не заявлен. Модель предназначена для генерации текста, программирования, рассуждений, мультимодального анализа, агентских сценариев и вызова функций. Она использует плотную (Dense) архитектуру с 30,7 млрд параметров, 60 слоями, размером скользящего окна внимания 1024 токена и словарём из 262 тысяч токенов. Гибридный механизм внимания сочетает локальное скользящее и глобальное внимание, что помогает снижать затраты памяти при работе с длинным контекстом. Поддерживаются настраиваемые режимы рассуждений и системные промпты. Ключевое преимущество версии QAT — существенно сниженные требования к памяти при сохранении качества, близкого к bfloat16, а формат w4a16 ориентирован на эффективное развёртывание. Ограничение модели — отсутствие заявленной поддержки аудио, а также необходимость совместимой инфраструктуры для работы с форматом compressed-tensors и vLLM. Модель распространяется по лицензии Apache 2.0.

google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

Карточка модели Terom/gemma-4-E2B-it-qat-q4_0-unquantized на Hugging Face совпадает с карточкой google/gemma-4-E2B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

Карточка модели ckcegg/gemma-4-E2B-it-qat-q4_0-unquantized-assistant на Hugging Face совпадает с карточкой google/gemma-4-E2B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

Карточка модели OsGo/gemma-4-E2B-it-qat-q4_0-unquantized-assistant на Hugging Face совпадает с карточкой google/gemma-4-E2B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

ente-ai/gemma-4-E4B-it-GGUF — квантизированная в формате GGUF instruction-tuned версия модели Gemma 4 E4B, разработанной Google DeepMind и опубликованной в виде сборки Unsloth. Модель относится к семейству открытых мультимодальных моделей Gemma 4 и предназначена для локального запуска, в том числе на ноутбуках и мобильных устройствах, а также для использования в Unsloth Studio и совместимых инструментах. Модель поддерживает обработку текста, изображений и аудио с генерацией текста, ориентирована на рассуждения, генерацию текста, программирование, мультимодальный анализ, агентские сценарии и вызов функций. Для E4B указаны около 4,5 млрд эффективных параметров и 8 млрд параметров с учётом эмбеддингов, 42 слоя, размер контекстного окна до 128K токенов и локальное окно внимания 512 токенов. Архитектура Gemma 4 использует гибридное внимание с чередованием локального sliding window attention и глобального внимания; заявлена поддержка более 140 языков, настраиваемых режимов рассуждения и системных промптов. К сильным сторонам относятся мультимодальность, большое контекстное окно, поддержка native function calling, возможности для кодирования и эффективного локального развертывания благодаря 4-битному GGUF-представлению. Ограничения включают зависимость качества и скорости от выбранного квантизированного варианта и аппаратного обеспечения; конкретные требования к памяти и производительности в README не указаны. Модель распространяется по лицензии Apache 2.0, при этом для Gemma 4 также следует учитывать условия лицензии Google, доступные по указанной ссылке.

trohrbaugh/gemma-4-E4B-it-heretic-ara — мультимодальная модель семейства Gemma 4, основанная на Google Gemma 4 E4B-it. Автор репозитория описывает её как версию heretic/abliterated, однако подробностей о процедуре изменения или её влиянии на поведение не приводит. Веса размещены в формате Safetensors; лицензия — Apache-2.0. Модель предназначена для диалога и генерации текста, рассуждений, программирования и агентных сценариев с вызовом инструментов, а также для понимания изображений, видео и аудио. Она может извлекать текст из документов и изображений, распознавать речь и переводить речь в текст; README указывает окно контекста до 128 тыс. токенов для E4B и поддержку более 35 языков. Архитектура Gemma 4 использует чередование локального скользящего и глобального внимания. Карточка сообщает, что веса аудио- и визуальных компонентов в более ранней загрузке были повреждены, а исправленные файлы добавлены 2 мая 2026 года; для корректной работы этих модальностей требуется актуальная версия репозитория. Как и другие генеративные модели, она может ошибаться в фактах, терять языковые нюансы и хуже справляться со сложными или неоднозначно заданными задачами.

QuantFactory/granite-3.1-1b-a400m-instruct-GGUF — квантизированная версия Granite-3.1-1B-A400M-Instruct, созданная QuantFactory с использованием llama.cpp на основе модели IBM Granite. Это инструкционная языковая модель для генерации текста и построения AI-ассистентов в различных прикладных областях, включая бизнес-сценарии. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, Retrieval-Augmented Generation (RAG), задач, связанных с кодом, function calling, многоязычного диалога и обработки длинного контекста, включая анализ документов и совещаний. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Исходная модель использует decoder-only Transformer с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Она относится к sparse MoE-архитектуре с 1,3 млрд параметров, из которых активно используется около 400 млн; включает 24 слоя, 32 эксперта и выбирает 8 экспертов на токен. Максимальная длина последовательности — 128K токенов. Квантизация может снизить требования к памяти и упростить локальный запуск, однако README не указывает конкретные форматы квантизации, их точность и совместимость. Модель выпущена под лицензией Apache 2.0.

JoyAI-LLM Flash — среднеразмерная инструкционная языковая модель, разработанная командой JD/JDopensource. Она предназначена для генерации текста, ответов на вопросы, работы со знаниями, рассуждений, программирования, использования инструментов и автономного решения задач. Модель обучалась на 20 триллионах текстовых токенов с применением оптимизатора Muon, а затем прошла supervised fine-tuning, direct preference optimization и reinforcement learning в различных средах. Заявлена поддержка китайского и английского языков. Модель использует архитектуру Mixture-of-Experts с 48 миллиардами общих и 3 миллиардами активируемых параметров. Она содержит 40 слоёв, включая один dense-слой, 32 attention heads, 256 экспертов, из которых для каждого токена выбираются 8, и один shared expert. Используются attention-механизм MLA, активация SwiGLU, словарь примерно на 129 тысяч токенов и контекст длиной до 128K токенов. Среди заявленных особенностей — FiberPO для повышения устойчивости обучения агентов и методы совместной оптимизации обучения и инференса, обеспечивающие заявленный прирост пропускной способности в 1,3–1,7 раза относительно версии без MTP. README указывает лицензию Modified MIT. Конкретные ограничения, требования к оборудованию и условия коммерческого использования отдельно не описаны.

NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4 — большая языковая модель NVIDIA для диалогов, рассуждений и создания агентных систем. Она рассчитана на работу с английским, французским, немецким, итальянским, японским, испанским и китайским языками, а также с кодом. Модель подходит для чат-ботов, RAG-систем, обработки сложных инструкций и рассуждений по длинному контексту, включая автоматизацию IT-заявок и координацию нескольких агентов. Модель использует гибридную архитектуру LatentMoE: слои Mamba-2 чередуются со слоями Mixture-of-Experts и выборочными слоями внимания; также применяются Multi-Token Prediction для ускорения генерации и обучение с NVFP4-квантизацией. Всего в модели 120 млрд параметров, из которых активны 12 млрд. Заявленная длина контекста — до 1 млн токенов. Для вывода README указывает проверку с vLLM 0.18.0, RHAIIS 3.4 и RHOAI 3.4. Возможности модели включают диалог, рассуждения, следование инструкциям и работу в агентных сценариях. Она оптимизирована для высокой пропускной способности, но требует инфраструктуры для обслуживания крупной модели; фактическая производительность зависит от оборудования и конфигурации. В карточке лицензия обозначена как other, при этом README заявляет готовность модели к коммерческому использованию; конкретные условия лицензии следует сверить с файлами репозитория.

Qwen3.5-27B-GPTQ-Int4 — мультимодальная причинная языковая модель с vision encoder, разработанная командой Qwen. Модель предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Она представлена в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Модель содержит 27 млрд параметров, использует гибридную архитектуру Gated Delta Networks и sparse Mixture-of-Experts, 64 слоя и скрытое измерение 5120. Нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Поддерживается 201 язык и диалект. Веса квантизированы методом GPTQ до 4 бит, что снижает требования к памяти и может повысить эффективность инференса, однако потенциально сопровождается потерей качества по сравнению с полной точностью. К сильным сторонам относятся мультимодальность, длинный контекст, широкое языковое покрытие и оптимизация для производительного инференса. README не содержит подробных сведений о фактических ограничениях, требованиях к оборудованию или результатах всех представленных тестов. Модель распространяется по лицензии Apache-2.0.

karlsencoin/Qwen3.5-9B-GGUF — вариант модели Qwen3.5-9B, разработанной командой Qwen; репозиторий подготовлен с использованием технологий Unsloth и распространяется в формате GGUF для локального запуска. Модель предназначена для генерации и понимания текста, программирования, рассуждений, агентских сценариев и обработки визуальной информации. Это каузальная языковая модель с vision-энкодером и мультимодальным ранним объединением токенов. Она содержит около 9 млрд параметров, 32 слоя и гибридную архитектуру на основе Gated Delta Networks, Gated Attention и разреженной Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Модель поддерживает 201 язык и диалект; заявлены текстовая и визуальная модальности. К сильным сторонам относятся мультимодальное понимание, высокая эффективность архитектуры, поддержка длинного контекста и пригодность для локального инференса. Ограничения конкретной GGUF-сборки, включая точный уровень квантизации, требования к памяти и совместимость с отдельными рантаймами, в README не указаны. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.5-9B-GGUF — GGUF-версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen и подготовленной Unsloth. Это каузальная языковая модель с vision encoder, предназначенная для локального запуска, генерации и анализа текста, программирования, рассуждений, агентских сценариев и обработки визуальной информации. Модель также поддерживает локальное дообучение с помощью Unsloth. Модель содержит около 9 млрд параметров и использует гибридную архитектуру с Gated Delta Networks, разреженным Mixture-of-Experts и блоками Gated Attention. В конфигурации заявлены 32 слоя, скрытая размерность 4096 и нативная длина контекста 262 144 токена с возможностью расширения до 1 010 000 токенов. Модель обучена для работы с мультимодальными токенами и заявляет поддержку 201 языка и диалекта. Репозиторий ориентирован на экосистему GGUF и локальный инференс, однако конкретный уровень квантования в предоставленных данных не указан. Сильными сторонами являются сочетание языковых и визуальных возможностей, большой контекст, энергоэффективная архитектура и широкий языковой охват. Ограничения включают отсутствие в предоставленных данных подробных результатов именно для GGUF-варианта, сведений о требованиях к оборудованию и точных характеристик квантования; фактическое качество и скорость могут зависеть от используемого рантайма и уровня квантования. Модель распространяется по лицензии Apache-2.0.

local-inference-lab/Qwen3.8-Flash-Next-NVFP4 — мультимодальная conversational-модель, дистиллированная из Qwen/Qwen3.8-Flash-Next с применением quantization-aware distillation. Она предназначена для диалогов, общего следования инструкциям, reasoning, программирования, multilingual-сценариев и обработки изображений с текстом. В качестве учителя использовалась исходная BF16-модель Qwen, а обучение проводилось на корпусе из 200 004 844 prompt-and-response токенов и 53 573 документов с последовательностями до 8 192 токенов. Архитектура сохранена без сокращения числа слоёв и экспертов: 48 decoder layers, 512 routed experts на слой, из которых для каждого токена активны 10, гибрид Gated DeltaNet/Qwen Sparse Attention и n-gram embedding tables. Сжатие достигается пониженной точностью весов: routed experts и часть компонентов используют NVFP4, другие проекции — MXFP8, а отдельные параметры остаются в BF16. Также сохранены vision encoder, MTP-модуль, tokenizer, chat template и vision assets. Размер checkpoint составляет около 98 GiB; заявлены оценки AA-LCR 79.4, GPQA Diamond 89.9 и Tool Eval Bench 91. Сильные стороны модели — сохранение исходной архитектуры, обучение с компенсацией ошибок квантования и более высокая эффективность по сравнению с NVFP4 PTQ на GPQA Diamond: при сопоставимом качестве модель использовала меньше токенов. Ограничения включают значительный объём checkpoint, дополнительные требования к памяти для KV cache и runtime buffers, а также необходимость runtime с поддержкой Qwen3.8-Flash-Next и смешанного ModelOpt-формата NVFP4/MXFP8, включая NVFP4 PLE tables. Модель распространяется по лицензии qwen-community-1.0; точные условия следует проверять по указанной license-ссылке.

unsloth/gemma-3-12b-it-qat-GGUF — мультимодальная instruction-tuned модель Gemma 3 на 12 млрд параметров, разработанная Google DeepMind. Она построена на базе google/gemma-3-12b-it-qat-q4_0-unquantized и использует Quantization Aware Training (QAT), что помогает сохранять качество на уровне, близком к bfloat16, при снижении требований к памяти после квантования. Модель принимает текст и изображения, а генерирует текст. Она предназначена для ответов на вопросы, суммаризации документов, рассуждений, анализа изображений, извлечения визуальной информации, работы с кодом и математическими запросами. Поддерживается более 140 языков. Для версии 12B заявлено контекстное окно до 128K токенов, максимальный объём генерируемого ответа — 8192 токена; изображения нормализуются до 896×896 и кодируются в 256 токенов каждое. К сильным сторонам относятся мультимодальность, широкая языковая поддержка, большое контекстное окно и возможность развертывания на ноутбуках, настольных компьютерах или собственной облачной инфраструктуре при использовании квантования. Репозиторий содержит не直接 квантованный файл: контрольную точку необходимо самостоятельно квантовать в Q4_0 совместимым инструментом. README не приводит детальных сведений об архитектуре, результатах бенчмарков и конкретных ограничениях качества, поэтому их оценку по этим данным дать нельзя. Использование регулируется лицензией Gemma и условиями Google. Доступ к модели на Hugging Face требует входа в аккаунт и подтверждения лицензионных условий.

wnfldchen/gemma-4-12B-it-qat-q4_0-unquantized-heretic — производная инструкционная мультимодальная модель на архитектуре Gemma 4 Unified, дообученная на google/gemma-4-12B-it-qat-q4_0-unquantized. В карточке описаны возможности семейства Gemma 4: гибридное внимание, анализ изображений и видео, работа с аудио для модели 12B, генерация текста и кода, рассуждения и вызов инструментов. Для этой версии заявлены форматы safetensors и лицензия Apache-2.0. Модель подходит для диалоговых помощников, разбора изображений и документов, распознавания речи и перевода аудио в текст, а также для создания и исправления кода. Семейство Gemma 4 поддерживает более 35 языков и было предварительно обучено на более чем 140 языках; для вариантов 12B заявлен контекст до 256K токенов. README описывает базовое семейство, поэтому эти сведения относятся к данной версии с учётом того, что она основана на модели 12B. Модель может ошибаться в фактах, упускать языковые нюансы и воспроизводить смещения из обучающих данных; сложные или недостаточно чётко сформулированные запросы могут ухудшать результат. Тегами версия обозначена как uncensored/abliterated, поэтому при развёртывании стоит учитывать её ориентацию на менее ограниченные ответы. Условия лицензии — Apache-2.0.

Gemma 4 26B A4B IT QAT GGUF — это мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google DeepMind и представленная в формате GGUF пользователем prithivMLmods. Она основана на разреженной Mixture-of-Experts архитектуре: содержит около 25,2 млрд параметров, из которых при генерации активны примерно 3,8 млрд. Модель поддерживает текст и изображения, но не аудио, и предназначена для диалогов, анализа изображений, OCR, анализа кадров видео, генерации текста и кода, вызова функций и задач, требующих рассуждений. Доступен настраиваемый режим reasoning. Модель использует около 550 млн параметров в vision encoder, контекстное окно до 256K токенов, скользящее окно 1024 токена и словарь примерно из 262 тысяч токенов для более чем 140 языков. Quantization-Aware Training помогает сохранить качество, близкое к bfloat16, при меньших требованиях к памяти. Репозиторий предоставляет варианты GGUF с квантованием от Q2_K до Q8_0, а также BF16, F16 и F32; размеры файлов составляют примерно от 10,6 до 101 ГБ, поэтому практическое использование зависит от доступной памяти и аппаратных ресурсов. К ограничениям относятся отсутствие аудиомодальности, высокие требования к ресурсам для полноразмерных вариантов и зависимость качества от выбранного уровня квантования. Лицензия — Apache 2.0.

unsloth/gemma-4-31B-it-NVFP4 — квантизированная версия мультимодальной instruction-tuned модели Gemma 4 31B, разработанной Google DeepMind и подготовленной Unsloth в формате NVFP4. Модель предназначена для обработки текста и изображений с генерацией текста, а также для reasoning, программирования, агентских сценариев и вызова функций. Модель использует плотную архитектуру с 30,7 млрд параметров, 60 слоями и гибридным механизмом внимания, сочетающим локальное sliding window attention с глобальным вниманием; размер окна — 1024 токена. Контекстное окно составляет до 256K токенов, словарь — 262K элементов. Поддерживается более 140 языков. Для визуального ввода используется vision encoder примерно на 550 млн параметров; аудио для версии 31B не заявлено. Квантизация NVFP4 снижает требования к памяти и ориентирована на эффективный запуск на совместимом GPU, в частности через vLLM. Сильные стороны модели — большое контекстное окно, мультимодальное понимание текста и изображений, улучшенные возможности reasoning и coding, native function calling и поддержка system prompt. Ограничения связаны с отсутствием аудиовхода у версии 31B, требованиями к совместимому программному и аппаратному стеку NVFP4, а также с тем, что README не приводит подробные результаты бенчмарков и оценки качества именно этой квантизированной сборки. Модель распространяется по лицензии Apache 2.0.

Это зеркальная копия Gemma 4 E2B IT от Google DeepMind, подготовленная chibifire. Модель прошла обучение с учётом квантизации Q4_0 (QAT), а в репозитории хранятся полут точные веса в формате safetensors вместе с токенизатором, шаблоном диалога и конфигурациями обработки и генерации. Она основана на плотной архитектуре Gemma 4 и предназначена для локального вывода и дальнейшего преобразования весов. Модель принимает текстовые и мультимодальные запросы и формирует ответы в диалоговом режиме; базовая Gemma 4 E2B IT поддерживает анализ изображений и аудио наряду с текстом. Обучение QAT рассчитано на сохранение качества при последующем хранении весов в Q4_0, хотя данная копия содержит полут точные, а не квантизованные веса. Для загрузки README рекомендует Transformers. Лицензия репозитория — Apache 2.0.

Карточка модели OsGo/gemma-4-E2B-it-qat-q4_0-unquantized на Hugging Face совпадает с карточкой google/gemma-4-E2B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

Карточка модели google/gemma-4-E2B-it-qat-q4_0-unquantized-assistant на Hugging Face совпадает с карточкой google/gemma-4-E2B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.