II.4Отладка, тестирование и качество ПО

Qwen3.5-35B-A3B — мультимодальная модель Alibaba с языковой частью и визуальным энкодером. Это post-trained версия базовой Qwen3.5-35B-A3B-Base, распространяемая в формате Transformers и совместимая с Transformers, vLLM, SGLang и KTransformers. Модель принимает текст и изображения и генерирует текст; поддерживает диалог и интерфейс вызова инструментов. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts: всего 35 млрд параметров, из которых активны около 3 млрд; используются 40 слоёв и 256 экспертов, из которых на шаг активируются 8 маршрутизируемых и один общий. Контекст составляет 262 144 токена с возможностью расширения примерно до 1,01 млн. В README заявлена поддержка 201 языка и диалекта, включая задачи рассуждения, программирования, работы с агентами и визуального понимания. Модель подходит для анализа изображений и документов, диалоговых помощников, задач с длинным контекстом и агентных сценариев с вызовом инструментов. Режим рассуждения включён по умолчанию; для высоких нагрузок разработчик рекомендует специализированные движки инференса. Доступны веса и конфигурации, лицензия — Apache-2.0.

Qwen3.5-35B-A3B-FP8 — мультимодальная причинная языковая модель с vision-энкодером из семейства Qwen3.5, разработанная командой Qwen. Представленная версия содержит FP8-квантизированные веса и конфигурацию в формате Hugging Face Transformers и предназначена для локального или серверного вывода в Transformers, vLLM, SGLang, KTransformers и совместимых системах. Модель ориентирована на работу с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Она поддерживает 201 язык и диалект, имеет нативный контекст 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts: всего 35 млрд параметров, из которых активируются около 3 млрд; используется 256 экспертов, 8 маршрутизируемых и 1 общий эксперт. В модели 40 слоёв и скрытая размерность 2048. Ключевое преимущество версии FP8 — существенно более эффективный по памяти и вычислениям вывод при заявленной производительности, почти идентичной исходной модели. Ограничения включают необходимость совместимой инфраструктуры и ПО для FP8-инференса, а также то, что README не приводит подробных сведений о фактических требованиях к оборудованию, безопасности и результатах по отдельным тестам для данной квантизированной версии. Модель распространяется по лицензии Apache-2.0.

Карточка модели ltntxj-123/gemma-4-E4B на Hugging Face совпадает с карточкой google/gemma-4-E4B, поэтому описание составлено по ней. Gemma 4 E4B — мультимодальная плотная модель семейства Gemma, разработанная Google DeepMind и представленная в виде весов с лицензией Apache 2.0. Она принимает текст, изображения и аудио и генерирует текст; аудиовозможности включают распознавание речи и перевод речи в текст. Модель рассчитана на запуск на мобильных устройствах и ноутбуках, а также на диалоговые сценарии, рассуждения, программирование и работу с инструментами. Архитектура реализует гибридное внимание: чередует локальные окна внимания с глобальным вниманием. Для E4B заявлено контекстное окно до 128 тысяч токенов. Модель понимает изображения, в том числе документы, графики и интерфейсы, а также аудио; семейство Gemma 4 поддерживает более 140 языков при обучении и более 35 языков при использовании. Карточка описывает семейство в целом, поэтому отдельные языковые возможности E4B могут зависеть от задачи и конфигурации.

Карточка модели scottc2u/gemma-4-E4B-x на Hugging Face совпадает с карточкой google/gemma-4-E4B, поэтому описание составлено по ней. Gemma 4 E4B — мультимодальная плотная модель семейства Gemma, разработанная Google DeepMind и представленная в виде весов с лицензией Apache 2.0. Она принимает текст, изображения и аудио и генерирует текст; аудиовозможности включают распознавание речи и перевод речи в текст. Модель рассчитана на запуск на мобильных устройствах и ноутбуках, а также на диалоговые сценарии, рассуждения, программирование и работу с инструментами. Архитектура реализует гибридное внимание: чередует локальные окна внимания с глобальным вниманием. Для E4B заявлено контекстное окно до 128 тысяч токенов. Модель понимает изображения, в том числе документы, графики и интерфейсы, а также аудио; семейство Gemma 4 поддерживает более 140 языков при обучении и более 35 языков при использовании. Карточка описывает семейство в целом, поэтому отдельные языковые возможности E4B могут зависеть от задачи и конфигурации.

Granite-3.2-8B-Instruct-GGUF — это GGUF-конверсия модели Granite-3.2-8B-Instruct, разработанная командой Granite в IBM. Модель содержит 8 миллиардов параметров, создана на основе Granite-3.1-8B-Instruct и дообучена с использованием открытых наборов данных с разрешительными лицензиями и синтетических данных для задач рассуждения. Доступна в различных вариантах квантования. Модель предназначена для выполнения общих инструкций и интеграции в AI-ассистентов, включая бизнес-приложения. Она поддерживает рассуждение с управляемым включением этой возможности только при необходимости, суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation (RAG), задачи, связанные с кодом, function calling, многоязычный диалог и работу с длинным контекстом, например суммаризацию документов и встреч или ответы на вопросы по большим документам. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; дообучение возможно и для других языков. К сильным сторонам относятся сочетание возможностей рассуждения, управляемость их применения, поддержка длинного контекста, многоязычность и широкий набор прикладных сценариев. README не содержит точного размера контекстного окна, сведений о модальностях помимо текстовой генерации, конкретных характеристик квантованных вариантов или подробностей об ограничениях качества. Модель распространяется по лицензии Apache 2.0.

Карточка модели KIng241300/promptforge-nano-7b на Hugging Face совпадает с карточкой Qwen/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.

alpindale/c4ai-command-r-plus-GPTQ — GPTQ-вариант модели C4AI Command R+, разработанной Cohere и Cohere For AI. Базовая модель представляет собой авторегрессионную языковую модель на оптимизированной архитектуре Transformer с 104 миллиардами параметров и контекстом до 128K токенов. После предварительного обучения она прошла supervised fine-tuning и обучение на предпочтениях для повышения полезности и безопасности ответов. Модель предназначена для генерации текста, рассуждений, суммирования, ответов на вопросы, Retrieval Augmented Generation и многошагового использования инструментов. Она оптимизирована для английского, французского, испанского, итальянского, немецкого, бразильского португальского, японского, корейского, арабского и упрощённого китайского языков; в предобучающие данные также входили русский и другие языки. Входом и выходом служит только текст. Сильные стороны — большой контекст, мультиязычность, поддержка RAG и сложных цепочек вызова инструментов. Ограничения и точные характеристики GPTQ-квантизации в представленном README не указаны. Использование регулируется лицензией CC-BY-NC-4.0 и политикой допустимого использования C4AI.

Granite-4.0-H-1B — компактная инструктивная языковая модель команды Granite компании IBM, дообученная на базе ibm-granite/granite-4.0-h-1b-base с помощью supervised fine-tuning, обучения с подкреплением и слияния моделей. Архитектура GraniteMoeHybrid — декодерный трансформер с GQA, Mamba2, SwiGLU и RMSNorm; модель содержит 1,2 млрд параметров, работает с текстом и имеет контекстное окно 131 072 токена. Модель предназначена для диалогов и выполнения инструкций, локального развертывания на устройствах, а также дообучения под специализированные задачи. Она подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом, вызова инструментов и многоязычного общения. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Компактный размер упрощает локальное применение и адаптацию под узкие задачи, а модель поддерживает вызов функций и дополнение кода FIM. Данные для инструктивного обучения преимущественно англоязычные, поэтому качество на других языках может быть ниже; ответы могут быть неточными, предвзятыми или небезопасными и требуют проверки. Лицензия — Apache 2.0.

Qwen3.5-4B-MTP-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-4B, разработанной командой Qwen компании Alibaba. Модель предназначена для локального и серверного инференса, включая агентские сценарии с вызовом инструментов, генерацию кода, OCR, разбор документов и визуальные вопросы и ответы. Она поддерживает работу с текстом, изображениями и видео. Модель содержит около 4 млрд параметров и использует гибридную архитектуру Gated DeltaNet и Gated Attention. Заявлено контекстное окно 262 тыс. токенов с возможностью расширения более чем до 1 млн токенов, словарь из 248 тыс. токенов и поддержка 201 языка. Формат MTP интегрирует multi-token prediction для ускорения спекулятивного декодирования без отдельной draft-модели. Доступны варианты от BF16/F16 до квантованных Q2_K–Q8_0; размер наиболее компактных файлов начинается примерно от 1,96 ГБ. Сильные стороны модели — компактный размер, мультимодальность, длинный контекст и возможность запуска на потребительском оборудовании; для 4-битной квантизации заявлено около 3 ГБ видеопамяти. Ограничения включают возможное снижение качества при агрессивной квантизации и то, что заявленные показатели производительности приведены в README без независимой проверки. Распространение модели указано по лицензии Apache 2.0.

Qwen3-VL-30B-A3B-Instruct-GGUF — это GGUF-версия мультимодальной модели Qwen3-VL-30B-A3B-Instruct, разработанной командой Qwen. Репозиторий содержит отдельно веса языковой модели и vision encoder в форматах FP16, Q8_0 и Q4_K_M для языковой части и FP16, Q8_0 для vision encoder. Модель предназначена для запуска через llama.cpp, Ollama и другие инструменты, поддерживающие GGUF, на CPU, NVIDIA GPU, Apple Silicon, Intel GPU и совместимом оборудовании. Модель работает с текстом и визуальными данными, включая изображения и видео. Она предназначена для понимания и генерации текста, визуального восприятия и рассуждений, OCR, анализа документов, пространственного анализа, распознавания объектов, видеоаналитики, визуального программирования, генерации Draw.io/HTML/CSS/JS по изображениям и взаимодействия с графическими интерфейсами и инструментами. Заявлена поддержка контекста 256K токенов с возможностью расширения до 1M, а OCR поддерживает 32 языка. Архитектурные особенности включают Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками для улучшения анализа изображений и видео. К сильным сторонам относятся мультимодальное рассуждение, обработка длинного контекста, понимание пространственных отношений и видеодинамики, расширенное OCR и возможность выбора точности компонентов в зависимости от оборудования. Ограничения связаны с требованиями к памяти и вычислительным ресурсам, которые зависят от выбранной точности и конфигурации, а также с необходимостью использовать актуальную версию совместимого программного обеспечения. Модель распространяется по лицензии Apache-2.0.

Granite-3.1-2B-Instruct — языковая модель IBM Granite Team для выполнения инструкций и создания диалоговых AI-ассистентов. Это дообученная на базе ibm-granite/granite-3.1-2b-base плотная decoder-only Transformer-модель с 2,5 млрд параметров и контекстом до 131 072 токенов. В архитектуре используются GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги; модель работает в библиотеке Transformers, веса доступны в формате safetensors. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом, вызова функций и диалога на нескольких языках. Длинный контекст подходит для анализа документов и стенограмм встреч. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; обучение инструкциям преимущественно англоязычное, поэтому результаты на других языках могут быть слабее. Модель разработана IBM и выпущена под лицензией Apache 2.0. Несмотря на меры по безопасности, она может выдавать неточные, предвзятые или небезопасные ответы; для конкретного применения рекомендуется проверка и настройка.

Mungert/granite-3.2-8b-instruct-GGUF — это GGUF-версия Granite-3.2-8B-Instruct, разработанная командой Granite компании IBM и преобразованная пользователем Mungert с помощью llama.cpp. Модель содержит около 8 миллиардов параметров и предназначена для генерации текста, выполнения инструкций и задач, требующих рассуждений, с поддержкой управляемого режима thinking. Модель подходит для создания AI-ассистентов, суммирования документов и встреч, классификации и извлечения текста, ответов на вопросы, Retrieval-Augmented Generation (RAG), программирования, function calling, многоязычного диалога и работы с длинным контекстом. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Точная длина контекста для этой сборки в README не указана. Сильной стороной является сочетание возможностей рассуждения, многоязычности и адаптации к длинным документам. Сборка использует GGUF и экспериментальный подход к квантованию: отдельные важные слои переводятся на более высокую точность, что, по описанию автора, может повысить точность при сохранении относительно низкого битового уровня, но увеличивает размер файла. Ограничения включают зависимость характеристик от выбранного варианта квантования и отсутствие в карточке подробных бенчмарков, требований к аппаратному обеспечению и точного размера контекста. Модель распространяется по лицензии Apache 2.0.

Granite-4.0-H-Micro — компактная инструктивная языковая модель IBM Granite Team для диалогов и выполнения общих инструкций. В карточке модели указаны 2,6 млрд параметров, архитектура GraniteMoeHybrid и контекстное окно до 131 072 токенов. Модель принимает текст и генерирует текст; она доступна в формате Safetensors и рассчитана на использование через Transformers. Модель дообучена от Granite-4.0-H-Micro-Base на открытых наборах инструкций, синтетических и размеченных людьми данных. Для обучения применялись supervised fine-tuning, выравнивание с помощью обучения с подкреплением и объединение моделей. Она подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова инструментов, включая корпоративных ассистентов. Поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский; также заявлены многоязычные диалоги и дополнение кода FIM. Инструктивная настройка улучшает следование инструкциям и вызов инструментов. По данным README, качество на языках помимо английского может быть ниже; несколько примеров в запросе могут помочь. Модель также может выдавать неточные, предвзятые или небезопасные ответы, поэтому её следует проверять и настраивать для конкретного применения. Лицензия — Apache 2.0.

Granite-4.0-Micro — компактная языковая модель IBM Granite Team для диалогов и следования инструкциям. Это модель на 3,4 млрд параметров с архитектурой GraniteMoeHybrid; она дообучена на базе Granite-4.0-Micro-Base с помощью инструкционных данных, синтетических примеров, выравнивания с подкреплением и объединения моделей. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и доступна в формате safetensors через Transformers. Модель предназначена для создания ассистентов и агентных систем, в том числе для корпоративных приложений. Она подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом, вызова инструментов и многоязычных диалогов. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Модель разработана IBM и распространяется по лицензии Apache 2.0. Качество на других языках может уступать английскому; ответы могут быть неточными, предвзятыми или небезопасными, поэтому для конкретного применения рекомендуется проверка и настройка.

Granite-4.0-Tiny-Preview-GGUF — текстовая instruct-модель семейства Granite, разработанная командой Granite компании IBM. Это конвертированная в формат GGUF версия базовой модели ibm-granite/granite-4.0-tiny-base-preview с различными вариантами квантования. Модель содержит около 7 млрд параметров и использует мелкозернистую гибридную архитектуру mixture-of-experts (MoE). Она дообучалась с применением supervised fine-tuning и методов выравнивания на основе reinforcement learning, включая открытые наборы инструкций и синтетические данные для задач с длинным контекстом. Модель предназначена для общего следования инструкциям и интеграции в AI-ассистентов, в том числе в бизнес-приложениях. Она поддерживает рассуждение, суммаризацию, классификацию и извлечение текста, ответы на вопросы, retrieval-augmented generation (RAG), работу с кодом, function calling, многоязычный диалог и обработку длинных документов и встреч. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; модель также можно дообучать для других языков. Сильными сторонами являются сочетание компактного размера, MoE-архитектуры, широкого набора прикладных сценариев, многоязычности и ориентации на длинноконтекстные задачи. README не содержит точного размера контекстного окна, результатов benchmark-тестов, сведений о конкретных квантованиях и подробных ограничениях качества, поэтому эти характеристики требуют дополнительной проверки. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-27B-GPTQ-Int4 — мультимодальная причинная языковая модель с vision encoder, разработанная командой Qwen. Модель предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Она представлена в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Модель содержит 27 млрд параметров, использует гибридную архитектуру Gated Delta Networks и sparse Mixture-of-Experts, 64 слоя и скрытое измерение 5120. Нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Поддерживается 201 язык и диалект. Веса квантизированы методом GPTQ до 4 бит, что снижает требования к памяти и может повысить эффективность инференса, однако потенциально сопровождается потерей качества по сравнению с полной точностью. К сильным сторонам относятся мультимодальность, длинный контекст, широкое языковое покрытие и оптимизация для производительного инференса. README не содержит подробных сведений о фактических ограничениях, требованиях к оборудованию или результатах всех представленных тестов. Модель распространяется по лицензии Apache-2.0.

Карточка модели compressa-ai/Compressa-Qwen2.5-14B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-14B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-14B-Instruct — инструкционно дообученная большая языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель с архитектурой Qwen2ForCausalLM, 14,7 млрд параметров, RoPE, SwiGLU, RMSNorm и групповой обработкой запросов внимания. Репозиторий содержит веса в формате Safetensors и предназначен для генерации текста в диалоговом формате. Модель подходит для чат-ботов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. В README заявлена поддержка более 29 языков, в том числе русского и английского. Метаданные указывают контекст в 32 768 токенов; README сообщает о возможности расширения контекста до 131 072 токенов с YaRN и генерации до 8 192 токенов. Модель также заявлена как улучшенная для программирования и математики, но результаты зависят от запроса и не гарантируют точности. Для контекстов длиннее 32 768 токенов требуется настройка YaRN; её статический коэффициент масштабирования в vLLM может снижать качество на коротких входах. Лицензия Apache-2.0 допускает использование на её условиях.

unsloth/gemma-3-12b-it-qat-GGUF — мультимодальная instruction-tuned модель Gemma 3 на 12 млрд параметров, разработанная Google DeepMind. Она построена на базе google/gemma-3-12b-it-qat-q4_0-unquantized и использует Quantization Aware Training (QAT), что помогает сохранять качество на уровне, близком к bfloat16, при снижении требований к памяти после квантования. Модель принимает текст и изображения, а генерирует текст. Она предназначена для ответов на вопросы, суммаризации документов, рассуждений, анализа изображений, извлечения визуальной информации, работы с кодом и математическими запросами. Поддерживается более 140 языков. Для версии 12B заявлено контекстное окно до 128K токенов, максимальный объём генерируемого ответа — 8192 токена; изображения нормализуются до 896×896 и кодируются в 256 токенов каждое. К сильным сторонам относятся мультимодальность, широкая языковая поддержка, большое контекстное окно и возможность развертывания на ноутбуках, настольных компьютерах или собственной облачной инфраструктуре при использовании квантования. Репозиторий содержит не直接 квантованный файл: контрольную точку необходимо самостоятельно квантовать в Q4_0 совместимым инструментом. README не приводит детальных сведений об архитектуре, результатах бенчмарков и конкретных ограничениях качества, поэтому их оценку по этим данным дать нельзя. Использование регулируется лицензией Gemma и условиями Google. Доступ к модели на Hugging Face требует входа в аккаунт и подтверждения лицензионных условий.

unsloth/gemma-4-E2B — вариант Gemma 4 E2B от Unsloth, основанный на дообученной Google Gemma 4 E2B от Google DeepMind. Это плотная мультимодальная модель генерации текста по текстовым и визуальным входам; для семейства Gemma 4 заявлены гибридное внимание с локальными и глобальными слоями, режим пошагового рассуждения и контекст до 128 тысяч токенов для E2B. В репозитории указаны веса safetensors и лицензия Apache 2.0. Модель подходит для диалогов, генерации и исправления кода, суммаризации, ответов по изображениям, OCR, распознавания объектов, разбора документов, графиков и интерфейсов, а также агентных сценариев с вызовом инструментов. Семейство поддерживает более 35 языков; README также сообщает о возможностях аудио для E2B, но метаданные данного репозитория подтверждают только зрительную модальность и задачу image-text-to-text. Среди ограничений — возможные фактические ошибки, смещения и трудности с неоднозначностью, сложными открытыми задачами и тонкими языковыми нюансами.

QuantFactory/granite-3.1-2b-instruct-GGUF — это квантизированная версия Granite-3.1-2B-Instruct, созданная QuantFactory с использованием llama.cpp на базе модели IBM Granite. Исходную модель разработала команда Granite компании IBM; она выпущена 18 декабря 2024 года и предназначена для выполнения общих инструкций и создания AI-ассистентов в различных прикладных областях. Модель поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation (RAG), задачи работы с кодом, function calling, многоязычный диалог и обработку длинного контекста, включая анализ документов и протоколов встреч. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Архитектура представляет собой плотный decoder-only Transformer примерно на 2,5 млрд параметров с 40 слоями, размером эмбеддингов 2048, Grouped Query Attention (GQA), позиционными представлениями RoPE, активацией SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Максимальная длина контекста составляет 128K токенов. Квантизация может снизить требования к ресурсам, однако конкретные характеристики зависят от выбранного GGUF-варианта. Модель ориентирована на универсальные текстовые и кодовые задачи, но README не приводит отдельные результаты бенчмарков или подробности ограничений квантизированных вариантов. Модель распространяется по лицензии Apache 2.0. Пользователям следует учитывать, что качество может различаться между поддерживаемыми языками, задачами и уровнями квантизации.

unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF — GGUF-версия большой языковой модели NVIDIA Nemotron-3-Super, разработанной NVIDIA Corporation. Модель предназначена для агентных сценариев, сложного рассуждения, диалоговых приложений, использования инструментов, RAG и высоконагруженных задач, включая автоматизацию обработки IT-заявок. Доступна настройка режима рассуждения через шаблон чата с параметром enable_thinking. Модель использует гибридную архитектуру LatentMoE, объединяющую Mamba-2, Mixture of Experts и attention, а также Multi-Token Prediction (MTP). Общий размер составляет 120 млрд параметров, из них 12 млрд активны при обработке запроса. Поддерживается контекст до 1 млн токенов и английский, французский, немецкий, итальянский, японский, испанский и китайский языки. Для запуска исходной BF16-версии требуется минимум 8 GPU H100 с 80 ГБ памяти; для данной GGUF-версии конкретные требования зависят от выбранной квантизации и среды выполнения. Сильными сторонами модели являются длинный контекст, сочетание эффективности MoE с возможностями гибридной архитектуры, поддержка рассуждений, инструментального использования и агентных рабочих процессов. Ограничениями остаются очень большой общий размер и высокие аппаратные требования, особенно для неквантизированной версии. Модель распространяется по лицензии NVIDIA Nemotron Open Model License; README также указывает возможность дообучения с помощью Unsloth.

JunHowie/Qwen3-8B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия языковой модели Qwen3-8B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, математических и логических задач, творческого письма, ролевого общения, перевода и сценариев с использованием внешних инструментов. Она поддерживает переключение между режимом рассуждений и обычным режимом генерации в рамках одной модели. Модель построена как causal language model и содержит около 8,2 млрд параметров, из которых 6,95 млрд не относятся к embedding-слою. Архитектура включает 36 слоёв и grouped-query attention с 32 головами Q и 8 головами KV. Базовый контекст составляет 32 768 токенов, а с использованием YaRN заявлена поддержка до 131 072 токенов. Qwen3 заявляет поддержку более 100 языков и диалектов, включая мультиязычное следование инструкциям и перевод. Квантизация выполнена в 4-битном формате с размером группы 128. По сравнению с более ранними квантизованными версиями заявлена повышенная эффективность по числу токенов в секунду благодаря параметру desc_act=False. Квантизация снижает требования к памяти и подходит для локального или серверного развёртывания, однако может приводить к потере качества по сравнению с полной точностью; конкретные показатели качества и требования к оборудованию в README не приведены. Для работы рекомендуется vLLM версии 0.9.2 или новее. Модель распространяется по лицензии Apache 2.0.

Qwen3-VL-235B-A22B-Instruct-FP8 — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия Qwen3-VL-235B-A22B-Instruct с мелкозернистой квантизацией и размером блока 128; заявлено, что её показатели почти идентичны исходной версии BF16. Модель предназначена для понимания и генерации текста по текстовым, визуальным и видеоданным. Модель подходит для анализа изображений и видео, OCR, распознавания объектов, пространственного рассуждения, STEM- и математических задач, визуального программирования, генерации Draw.io/HTML/CSS/JS по визуальным материалам, а также для взаимодействия с графическими интерфейсами и инструментами. Она поддерживает контекст длиной 256 тысяч токенов с возможностью расширения до 1 миллиона, обработку длительных видео с временной индексацией и OCR на 32 языках. Среди архитектурных особенностей указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. К сильным сторонам относятся развитое визуальное восприятие, мультимодальное рассуждение, анализ пространственных отношений, работа с длинными документами и видео, а также устойчивый OCR для изображений с низким качеством, наклоном и редкими символами. README не содержит детальных числовых результатов тестов, полного перечня поддерживаемых языков или требований к аппаратному обеспечению. На момент описания Transformers не поддерживает прямую загрузку этих весов; для развёртывания рекомендуются vLLM или SGLang. Модель распространяется по лицензии Apache 2.0.

QuantFactory/granite-3.1-1b-a400m-instruct-GGUF — квантизированная версия Granite-3.1-1B-A400M-Instruct, созданная QuantFactory с использованием llama.cpp на основе модели IBM Granite. Это инструкционная языковая модель для генерации текста и построения AI-ассистентов в различных прикладных областях, включая бизнес-сценарии. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, Retrieval-Augmented Generation (RAG), задач, связанных с кодом, function calling, многоязычного диалога и обработки длинного контекста, включая анализ документов и совещаний. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Исходная модель использует decoder-only Transformer с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Она относится к sparse MoE-архитектуре с 1,3 млрд параметров, из которых активно используется около 400 млн; включает 24 слоя, 32 эксперта и выбирает 8 экспертов на токен. Максимальная длина последовательности — 128K токенов. Квантизация может снизить требования к памяти и упростить локальный запуск, однако README не указывает конкретные форматы квантизации, их точность и совместимость. Модель выпущена под лицензией Apache 2.0.

Granite-3.2-2B-Instruct — инструкционная языковая модель семейства Granite, разработанная командой Granite компании IBM. Это плотная авторегрессионная модель на 2,5 млрд параметров, дообученная на базе ibm-granite/granite-3.1-2b-instruct для задач рассуждения и выполнения инструкций; режим рассуждения можно включать по необходимости. Модель работает с текстом, поддерживает диалог и интерфейс вызова инструментов, имеет контекст до 131 072 токенов и распространяется в формате safetensors по лицензии Apache 2.0. Модель предназначена для общих инструкционных задач и интеграции в ассистентов: ответов на вопросы, суммаризации длинных документов и встреч, извлечения и классификации текста, RAG, задач с кодом и вызова функций. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Среди сильных сторон — длинный контекст, управляемое рассуждение и многоязычный диалог. К ограничениям относятся унаследованные от Granite-3.1-2B-Instruct ограничения и этические соображения; README не приводит их подробнее.

Granite-3.2-8B-Instruct-Preview — языковая модель IBM Granite Team, дообученная на основе ibm-granite/granite-3.1-8b-instruct для улучшенного пошагового рассуждения. Это плотная авторегрессионная модель на 8,2 млрд параметров с контекстом до 131 072 токенов; режим рассуждения можно включать по необходимости. Модель предназначена для ответов на общие инструкции и создания диалоговых помощников, в том числе для бизнес-сценариев. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи с кодом и вызов функций, а также работу с длинными документами и стенограммами встреч. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Модель выпущена в формате safetensors и распространяется по лицензии Apache 2.0. Это предварительный релиз; унаследованные от Granite-3.1 ограничения и этические соображения сохраняются.

Granite-4.0-H-Tiny — языковая модель IBM Granite Team для диалогов и выполнения инструкций, рассчитанная на создание ассистентов и бизнес-приложений. Это дообученная на инструкциях модель семейства Granite 4.0: в README указана версия на 7 млрд параметров, тогда как метаданные репозитория сообщают 500,2 млн параметров. Архитектура — декодерный гибридный MoE-трансформер с GQA, Mamba2, общими экспертами, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами; поддерживается контекст до 131 072 токенов. Модель подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова инструментов, а также многоязычного диалога. В README перечислены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Модель обучена преимущественно на англоязычных инструкциях; качество на других языках может быть ниже. Она может выдавать неточные, предвзятые или небезопасные ответы, поэтому для конкретного применения нужны проверка и настройка безопасности. Разработчик — IBM Granite Team. Лицензия — Apache 2.0; веса опубликованы в формате safetensors.

granite-4.0-tiny-preview-GGUF — GGUF-квантизированные варианты 7-миллиардной instruct-модели Granite-4.0-Tiny-Preview, разработанной командой Granite компании IBM и преобразованной с помощью llama.cpp. Базовая модель — ibm-granite/granite-4.0-tiny-base-preview. Модель представляет собой гибридную fine-grained Mixture-of-Experts (MoE) архитектуру и дообучена на открытых наборах инструкций с разрешительными лицензиями и синтетических данных для задач с длинным контекстом. Дата выпуска исходной модели — 2 мая 2025 года. Модель предназначена для общего следования инструкциям и интеграции в AI-ассистентов, в том числе для бизнес-приложений. Она поддерживает рассуждения, суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation (RAG), программирование, function calling, многоязычный диалог, а также обработку длинных документов и совещаний. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Ключевая особенность данного репозитория — применение автором дополнительного повышения точности отдельных важных слоёв при квантовании через параметр --tensor-type в llama.cpp. Это может улучшать точность при низкой битности, особенно для MoE-моделей, но увеличивает размер файлов. Конкретный формат квантования и его характеристики зависят от выбранного варианта GGUF. Для запуска требуется совместимое ПО, например llama.cpp; README указывает генерацию моделей на коммите adef8178. Модель распространяется по лицензии Apache 2.0. В README не указаны точный размер контекстного окна, конкретные уровни квантования и результаты бенчмарков для данного GGUF-варианта.

cyankiwi/granite-4.1-3b-AWQ-INT4 — квантизированная версия Granite-4.1-3B, разработанная сообществом cyankiwi на основе базовой модели IBM Granite Team. Это инструкционная языковая модель примерно на 3 млрд параметров, дообученная IBM с применением supervised fine-tuning и reinforcement learning alignment для улучшения следования инструкциям, диалогов и вызова инструментов. Представленная сборка использует AWQ INT4-квантизацию и занимает около 2,33 ГБ. Модель предназначена для бизнес-приложений и AI-ассистентов, включая агентские сценарии с вызовом внешних функций и API. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, программирование, function calling, многоязычный диалог и Fill-In-the-Middle для автодополнения кода. В карточке указана поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков; исходная Granite-4.1-3B также заявлена как поддерживающая немецкий, португальский, чешский и итальянский. Сильные стороны модели — небольшой размер, сниженные требования к памяти благодаря INT4-квантизации, поддержка длинного контекста, многоязычность и ориентация на инструкции и использование инструментов. README не содержит точного размера контекстного окна, сведений о мультимодальности, подробных результатов тестирования или ограничений качества этой квантизированной сборки, поэтому её возможности следует оценивать на целевых задачах. Лицензия исходной модели и данной сборки указана как Apache 2.0.

Карточка модели NostraEmpire/mirror-granite-3.1-8b-instruct на Hugging Face совпадает с карточкой ibm-granite/granite-3.1-8b-instruct, поэтому описание составлено по ней. Granite-3.1-8B-Instruct — языковая модель IBM Granite Team для выполнения инструкций и создания диалоговых ассистентов. Это дообученная на базе Granite-3.1-8B-Base плотная авторегрессионная трансформерная модель на 8,2 млрд параметров; при обучении использовались supervised fine-tuning, выравнивание с помощью обучения с подкреплением и слияние моделей. Архитектура включает GQA, RoPE, SwiGLU и RMSNorm. Модель принимает текст и поддерживает контекст до 131 072 токенов. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова функций. Поддерживает диалоги на английском, немецком, испанском, французском, японском, португальском, арабском, чешском, итальянском, корейском, нидерландском и китайском языках. Лучше всего модель обучена следовать инструкциям на английском; качество на других языках может быть ниже. Она может выдавать неточные, предвзятые или небезопасные ответы. Лицензия — Apache 2.0.