I.4Обработка документов и форм

google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

Granite-4.0-1B — компактная инструктивная языковая модель команды Granite компании IBM, представленная в репозитории Unsloth. Это дообученная версия Granite-4.0-1B-Base: при обучении применялись supervised fine-tuning, обучение с подкреплением и слияние моделей. Архитектура — декодерный трансформер с классом GraniteMoeHybridForCausalLM; в карточке также описаны GQA, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Размер модели — 1,6 млрд параметров, контекст — до 131 072 токенов. Модель предназначена для диалогов и выполнения инструкций, включая суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи с кодом и вызов инструментов. Поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Компактный размер подходит для локального развёртывания и дообучения под специализированные задачи. Лицензия — Apache 2.0. Качество на языках помимо английского может быть ниже; модель способна выдавать неточные, предвзятые или небезопасные ответы. Для конкретного сценария необходимы проверка и настройка поведения.

Granite-4.0-350M — компактная инструктивная языковая модель команды Granite компании IBM, дообученная на базе ibm-granite/granite-4.0-350m-base с помощью supervised fine-tuning, обучения с подкреплением и слияния моделей. Она использует архитектуру decoder-only dense Transformer; в метаданных указано 352,3 млн параметров и контекст до 32 768 токенов. Модель предназначена для диалогов, локального запуска на устройствах и дообучения под специализированные задачи с умеренными вычислительными ресурсами. Модель подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова инструментов. Она поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Лицензия — Apache 2.0. Качество на языках, кроме английского, может быть ниже; модель также может выдавать неточные, предвзятые или небезопасные ответы, поэтому перед применением в конкретной задаче её следует оценить и настроить.

Granite-4.0-H-1B — компактная инструктивная языковая модель команды Granite компании IBM, дообученная на базе ibm-granite/granite-4.0-h-1b-base с помощью supervised fine-tuning, обучения с подкреплением и слияния моделей. Архитектура GraniteMoeHybrid — декодерный трансформер с GQA, Mamba2, SwiGLU и RMSNorm; модель содержит 1,2 млрд параметров, работает с текстом и имеет контекстное окно 131 072 токена. Модель предназначена для диалогов и выполнения инструкций, локального развертывания на устройствах, а также дообучения под специализированные задачи. Она подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом, вызова инструментов и многоязычного общения. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Компактный размер упрощает локальное применение и адаптацию под узкие задачи, а модель поддерживает вызов функций и дополнение кода FIM. Данные для инструктивного обучения преимущественно англоязычные, поэтому качество на других языках может быть ниже; ответы могут быть неточными, предвзятыми или небезопасными и требуют проверки. Лицензия — Apache 2.0.

Карточка модели shrawanp/Qwen3.5-122B-A10B на Hugging Face совпадает с карточкой Qwen/Qwen3.5-122B-A10B, поэтому описание составлено по ней. Qwen3.5-122B-A10B — мультимодальная причинная языковая модель с визуальным энкодером, разработанная командой Qwen. Репозиторий содержит постобученные веса и конфигурацию в формате Transformers; модель сочетает Gated Delta Networks с разреженной архитектурой Mixture-of-Experts. Всего в модели 122 млрд параметров, из которых при генерации активируются 10 млрд; предусмотрено 256 экспертов, 8 маршрутизируемых и один общий активируются для каждого шага. Модель предназначена для диалога и решения задач по тексту и изображениям, включая рассуждения, программирование, понимание визуального содержимого и работу с инструментами. README также описывает обработку видео и расширенный контекст. Нативное окно контекста — 262 144 токена, с возможностью расширения до 1 010 000. Заявлена поддержка 201 языка и диалекта; точный перечень языков в предоставленной карточке опущен. Среди сильных сторон — сочетание мультимодального понимания, инструментального взаимодействия и разреженной архитектуры, рассчитанной на эффективный инференс. Для запуска требуются совместимые версии Transformers или специализированные движки, например vLLM, SGLang или KTransformers; производительность и расход памяти зависят от инфраструктуры, а README предупреждает о риске нехватки памяти при большом контексте. Лицензия — Apache-2.0.

cyankiwi/Qwen3.8-27B-AWQ-INT4 — это квантованная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем cyankiwi. Модель представлена в формате Hugging Face Transformers и использует квантование AWQ с точностью INT4; размер файлов модели составляет около 21,02 ГБ. Лицензия — Apache-2.0. Модель предназначена для генерации и анализа текста, программирования, профессиональных и исследовательских задач, а также длительных агентских сценариев с планированием и обработкой обратной связи от окружения. Это causal language model с vision encoder, которая нативно понимает изображения и видео, включая документы и STEM-диаграммы. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Модель содержит 27 млрд параметров, 64 слоя и скрытую размерность 5120. Архитектура сочетает Gated DeltaNet и Gated Attention, а также использует Multi-Token Prediction. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 000 000 токенов. Режим рассуждений включён по умолчанию, но может отключаться для отдельных запросов; глубина рассуждений настраивается параметром reasoning_effort, а контекст рассуждений из предыдущих сообщений может сохраняться с помощью preserve_thinking. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, поддержка видео, длинного контекста, управляемого рассуждения и агентского выполнения задач при относительно компактном для класса 27B размере. К ограничениям относятся потери точности, возможные для INT4-квантования, а также необходимость совместимого программного обеспечения и значительного объёма памяти для локального запуска. README не содержит подробных числовых результатов тестирования, поэтому качество на конкретных бенчмарках по этим данным оценить нельзя.

Qwen3.8-Flash-Next — открытая модель с весами от команды Qwen, построенная как причинная языковая модель с энкодером изображений. Она предназначена для диалогов, агентных сценариев и задач, где нужно анализировать изображения вместе с текстом. Архитектура сочетает Gated DeltaNet и Qwen Sparse Attention, разреженную MoE-сеть и n-граммные эмбеддинги. В языковой части заявлено 125 млрд параметров, из которых активируются 6 млрд, а также 51 млрд параметров n-граммных эмбеддингов и 4 млрд параметров MTP. Модель имеет 48 слоёв и нативный контекст 262 144 токена с возможностью расширения до 1 000 000. Карточка описывает оценки на задачах программирования, офисной продуктивности и работы с изображениями, а также режим рассуждений, включённый по умолчанию. Для интеграции разработчик рекомендует API. Лицензия обозначена как other, поэтому конкретные условия использования следует проверять в материалах репозитория и у разработчика.

Qwen3.5-27B — мультимодальная модель семейства Qwen, разработанная командой Qwen. Это авторегрессионная языковая модель с vision encoder, предназначенная для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель поддерживает интеграцию с Hugging Face Transformers, vLLM, SGLang и KTransformers. Модель содержит 27 млрд параметров, 64 слоя и скрытое измерение 5120. В архитектуре сочетаются Gated Delta Networks и разреженная Mixture-of-Experts; также используются механизмы Gated Attention и multi-step training. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Мультимодальное обучение выполнено с ранним объединением визуальных и языковых токенов. К сильным сторонам относятся сочетание языковых и визуальных возможностей, высокая эффективность архитектуры, большой контекст и широкое языковое покрытие. Ограничения README не описывает подробно; фактическая производительность и требования к ресурсам зависят от сценария использования и программного окружения. Модель распространяется по лицензии Apache-2.0.

NVIDIA Qwen3.5-397B-A17B NVFP4 V2 — квантизированная версия авторегрессионной мультимодальной модели Qwen3.5-397B-A17B, разработанной Alibaba и оптимизированной NVIDIA с помощью Model Optimizer. Модель предназначена для коммерческого и некоммерческого использования в AI Agent-системах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Модель использует архитектуру Transformers и содержит 397 млрд параметров, из которых активируется 17 млрд. Она принимает текст, изображения и видео, а генерирует текст; заявленная длина контекста составляет до 262 тысяч токенов. Поддерживаются входные данные в строковом формате, изображения RGB и видео MP4/WebM. Модель оценивалась на задачах мультимодального рассуждения, научного программирования, работы с длинным контекстом, следования инструкциям и агентского использования инструментов. Вариант NVFP4 2.0 предназначен для ускоренного инференса на GPU NVIDIA, прежде всего на архитектуре Blackwell, с использованием SGLang и Linux. Веса и активации линейных операторов внутри transformer-блоков квантизированы в NVFP4; attention и shared experts используют per-tensor FP8. Ограничения включают нераскрытые данные обучения и отсутствие приведённых численных результатов бенчмарков, поэтому перед развёртыванием необходимы тестирование на целевых данных и проверка безопасности. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-9B Q4_K_M GGUF — это 4-битная квантованная версия языково-мультимодальной модели Qwen3.5-9B, первоначально разработанной Alibaba Cloud. Конвертацию в формат GGUF выполнила Unsloth, а квантование и оптимизацию для локального запуска на устройствах Apple — jc-builds. Модель распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста, рассуждений, программирования, использования инструментов, анализа изображений и работы с документами и видео. Она поддерживает режим рассуждений с блоками <think>...</think>, ChatML-формат запросов и ориентирована прежде всего на приватный автономный запуск через llama.cpp, включая iPhone, iPad и Mac с Apple Silicon. Для iOS она доступна в приложении HaploAI. Архитектура сочетает Gated DeltaNet и полное Gated Attention в соотношении 3:1 и включает 32 слоя, скрытое измерение 4096, GQA с 16 query-heads и 4 KV-heads, а также FFN с промежуточным размером 12288. Модель содержит около 9 млрд параметров, занимает примерно 5,3 ГБ, поддерживает контекст до 262 144 токенов с возможностью расширения свыше 1 млн через YaRN и заявляет поддержку 201 языка и диалекта, включая русский, английский, китайский, японский, корейский и европейские языки. Нативная мультимодальность основана на раннем слиянии визуальных данных. К сильным сторонам относятся высокая заявленная эффективность для модели такого размера, большой контекст, мультимодальность, широкий языковой охват и возможность локального использования без передачи данных в облако. Ограничения включают значительные требования к памяти: для комфортной работы рекомендуется устройство с минимум 8 ГБ RAM, а на старых iPhone с 6 ГБ модель не рекомендуется. Приведённые результаты бенчмарков и скорости зависят от реализации, устройства и настроек запуска.

Granite-4.0-H-350M — компактная инструктивная языковая модель команды Granite компании IBM, дообученная на основе ibm-granite/granite-4.0-h-350m-base с применением контролируемого дообучения, обучения с подкреплением и слияния моделей. Это плотная decoder-only архитектура GraniteMoeHybrid с GQA, Mamba2, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами; модель содержит 278,4 млн параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов, локального и периферийного развёртывания, исследовательских сценариев и дообучения под специализированные задачи. Она умеет суммировать и извлекать текст, классифицировать, отвечать на вопросы, поддерживать RAG, выполнять задачи с кодом и вызовом функций, включая дополнение кода FIM. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Компактный размер упрощает запуск на устройствах и адаптацию под узкие задачи. При этом качество на языках помимо английского может быть ниже; ответы также могут содержать ошибки, предвзятость или небезопасный контент. Лицензия — Apache 2.0.

RedHatAI/gemma-4-26B-A4B-it-FP8-dynamic — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная RedHatAI на основе google/gemma-4-26B-A4B-it. Она принимает текст и изображения и генерирует текст; поддерживает режим рассуждений и вызов инструментов. Модель предназначена для диалоговых приложений, генерации текста, следования инструкциям, решения задач, мультимодального анализа и function calling. Архитектура модели — Gemma4ForConditionalGeneration. Вариант имеет конфигурацию 26B-A4B и оптимизирован для инференса в vLLM. Веса и активации линейных слоёв transformer-блоков квантизированы в FP8: веса используют статическое масштабирование per-channel, активации — динамическое масштабирование per-token. Vision tower, embedding-слои, output head и MoE router сохранены в исходной точности. Квантизация уменьшает объём хранения и требования к памяти GPU примерно на 50%; заявленная максимальная длина контекста при развёртывании составляет 32768 токенов. Поддерживаются изображения и аудио в конфигурации vLLM, однако сведения о языках обучения или поддержки в README не указаны. К сильным сторонам относятся мультимодальность, поддержка рассуждений и вызова инструментов, совместимость с vLLM и близкие к исходной модели результаты на указанных тестах после FP8-квантизации. Ограничениями являются зависимость от корректной настройки vLLM, специальных reasoning- и tool-call parser, а также возможные потери точности из-за квантизации. Модель распространяется по лицензии Apache 2.0; для использования Gemma также следует учитывать условия лицензии Google Gemma, указанной в README.

AlexAtomic/gemma4-e4b-it-GGUF — это квантизированная в формате GGUF версия Gemma 4 E4B-it, разработанная Google и самостоятельно квантизированная AlexAtomic для проекта Atomic Chat. Модель предназначена для локального и полностью офлайн-использования в чат-ботах, приложениях с агентными сценариями и задачах, требующих обработки текста, изображений и аудио с генерацией текстовых ответов. Поддерживаются нативный function calling и настраиваемый режим рассуждений, включаемый токеном <|think|>. Модель имеет 4,5 млрд эффективных параметров, или 8 млрд параметров с учётом эмбеддингов, использует Per-Layer Embeddings и состоит из 42 слоёв. Архитектура Dense сочетает локальное скользящее внимание с окном 512 и глобальное внимание с p-RoPE; размер контекста — 128K токенов, словарь — 262K. Поддерживаются более 35 языков, при этом предобучение проводилось на более чем 140 языках. Для мультимодальной работы в репозитории предусмотрен vision-проектор mmproj. Ключевое преимущество — сочетание мультимодальности, большого контекста, офлайн-запуска и экономичного размера, а importance matrix помогает сохранить качество при низкобитовой квантизации. Ограничения связаны с потерями качества у самых компактных вариантов, а для корректной работы требуется применять шаблон чата Gemma 4 через параметр --jinja; для изображений необходим соответствующий mmproj. Доступны варианты квантизации от Q2_K до Q8_0, рекомендуемый баланс размера и качества — Q4_K_M. Модель распространяется по лицензии Apache-2.0.

Granite-4.1-30B-Base — базовая авторегрессионная языковая модель IBM Granite Team для генерации текста и широкого круга задач преобразования текста. Это плотный decoder-only Transformer с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами; модель содержит 28,9 млрд параметров и распространяется в формате safetensors для Transformers. Карточка описывает обучение с нуля примерно на 15 трлн токенов и расширение контекста до 512 тыс. токенов, тогда как метаданные репозитория указывают нативное контекстное окно 131 072 токена. Модель рассчитана на суммаризацию, классификацию и извлечение информации, ответы на вопросы, длинную генерацию и дополнение кода, включая Fill-in-the-Middle. Поддерживаемые языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Это базовая модель без выравнивания безопасности; для прикладных сценариев её можно дообучать под специализированные задачи. Лицензия Apache 2.0.

Mungert/Qwen3.5-4B-GGUF — это GGUF-квантованная версия мультимодальной модели Qwen3.5-4B, опубликованная Mungert на основе базовой модели Qwen/Qwen3.5-4B-Base, разработанной командой Qwen. Модель предназначена для генерации и понимания текста, визуально-языковых задач, рассуждений, программирования, работы с агентами и анализа изображений. Формат GGUF ориентирован на локальный запуск с использованием совместимых инструментов, включая llama.cpp. Модель представляет собой авторегрессионную языковую модель с vision encoder и поддерживает обработку текста и изображений. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts; размер языковой части составляет около 4 млрд параметров, число слоёв — 32, размер скрытого состояния — 2560. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Ключевая особенность этой версии — кастомная стратегия квантования: отдельные важные слои переводятся в более высокую точность сверх стандартной конфигурации IMatrix, что, по данным автора, может улучшать точность при сохранении преимуществ квантования. Ограничения зависят от выбранного варианта квантования и аппаратного обеспечения; снижение точности по сравнению с полной моделью возможно, а конкретные требования к памяти, результаты бенчмарков и доступные уровни квантования в представленном фрагменте не указаны. Лицензия — Apache 2.0.

ZuzeTt/Qwen3.5-4B-imatrix-GGUF — мультимодальная causal language model с vision encoder из семейства Qwen3.5, разработанная командой Qwen. Модель основана на Qwen/Qwen3.5-4B-Base и предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит около 4 млрд параметров, 32 слоя и использует гибридную архитектуру Gated DeltaNet и разреженной Mixture-of-Experts с механизмом Gated Attention. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Репозиторий содержит артефакты в формате GGUF, полученные с использованием llama.cpp; README также указывает совместимость исходной модели с Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, большое контекстное окно, компактный размер и архитектурная оптимизация для производительного инференса. Ограничения конкретной imatrix-квантизации, включая точность, требования к памяти и поддерживаемые варианты квантования, в README подробно не указаны. Лицензия — Apache 2.0.

Карточка модели kongyi/Qwen3.8-Flash-Next-1 на Hugging Face совпадает с карточкой Qwen/Qwen3.8-Flash-Next, поэтому описание составлено по ней. Qwen3.8-Flash-Next — открытая по весам мультимодальная модель семейства Qwen, представленная как первый релиз архитектуры Qwen4-экспериментального семейства. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, работы с изображениями и агентных сценариев, включая задачи программирования и длительные рабочие процессы. В карточке описаны возможности вызова инструментов и режим рассуждения, включённый по умолчанию. Модель имеет разреженную MoE-архитектуру: 125 млрд параметров, из которых активируются 6 млрд, дополнительно 51 млрд параметров приходится на n-граммные эмбеддинги и 4 млрд — на MTP. Архитектура сочетает Gated DeltaNet и Qwen Sparse Attention, а также использует Gated Residual. Контекстное окно составляет 262 144 токена и может расширяться до 1 000 000 токенов. В карточке приведены оценки на агентных, программных и визуально-языковых бенчмарках, однако таблицы результатов и таблица языков опущены. Разработчик позиционирует модель для API-интеграции и рекомендует этот способ использования. Репозиторий содержит веса Safetensors; лицензия указана как other, поэтому условия использования следует уточнить в материалах разработчика. В предоставленных данных нет списка поддерживаемых языков и конкретных ограничений по качеству или применению.

Карточка модели jondurbin/airoboros-c34b-3.1.2 на Hugging Face совпадает с карточкой jondurbin/airoboros-l2-70b-3.1.2, поэтому описание составлено по ней. airoboros-l2-70b-3.1.2 — экспериментальная инструктивная языковая модель от jondurbin, созданная на базе Llama 2 и дообученная на наборе airoboros-3.1, преимущественно на синтетических данных. Это плотная авторегрессионная модель семейства Llama с 68,7 млрд параметров и контекстом до 4096 токенов; она принимает текст и генерирует текст. Для диалогов используется шаблон Llama 2 Chat. Модель предназначена для следования инструкциям и решает широкий круг задач: ответы на вопросы по предоставленному контексту, суммаризация, математические решения в формате MathJSON, извлечение данных из логов, анонимизация, программирование и генерация аргументов для вызова функций. Она также обучалась на многошаговых инструкциях и диалогах с учётом системного промпта и истории беседы. Для MathJSON автор рекомендует низкую температуру генерации; исполнение планов или вызовов функций требует внешнего кода. Модель распространяется по лицензии Llama 2. Карточка называет её экспериментальной и отмечает, что часть данных по снятию ограничений не опубликована.

airoboros-l2-c70b-3.1.2 — экспериментальная диалоговая модель jondurbin на архитектуре Llama 2, дообученная на Llama 2 70B Chat с использованием преимущественно синтетических данных набора airoboros-3.1. Модель содержит 68,7 млрд параметров, работает с текстом и рассчитана на контекст до 4096 токенов; для диалога использует шаблон Llama 2 Chat. Модель предназначена для выполнения инструкций и широкого круга текстовых задач: ответов по предоставленному контексту, суммаризации, извлечения информации из логов, обезличивания текста, программирования и генерации структурированных аргументов для функций. В README отмечено, что акцент сделан на следовании инструкциям, а не на непринуждённом общении и ролевой игре. Для MathJSON автор рекомендует низкую температуру генерации. Автор характеризует модель как экспериментальную и сообщает о тестовом дообучении поверх чат-версии Llama 2. Возможны ошибки и выдуманные ответы; для вопросов по контексту рекомендуется явно просить не придумывать ответ при нехватке сведений. Модель распространяется под лицензией Llama 2.

unsloth/gemma-4-26B-A4B-it-NVFP4 — инструкционная мультимодальная модель семейства Gemma 4, подготовленная Unsloth на базе google/gemma-4-26B-A4B-it и разработанная Google DeepMind. Это квантованный вариант в формате NVFP4, предназначенный для эффективного запуска, в частности через vLLM на совместимом оборудовании NVIDIA. Модель принимает текст и изображения и генерирует текст. Вариант 26B A4B относится к архитектурам Mixture-of-Experts (MoE): семейство Gemma 4 позиционирует такие модели для генерации текста, программирования, рассуждений, мультимодального анализа и агентских сценариев. Поддерживаются настраиваемые режимы рассуждения, нативный system prompt, вызов функций и длинный контекст; для средних моделей Gemma 4 заявлено до 256K токенов. Семейство также поддерживает более 140 языков. К сильным сторонам относятся сочетание мультимодального понимания, возможностей рассуждения и кодирования, поддержка длинного контекста и более эффективное выполнение благодаря MoE-архитектуре и NVFP4-квантизации. Ограничения включают зависимость производительности и совместимости от поддерживаемых NVFP4-ядер и аппаратного обеспечения; точные требования к памяти, показатели качества и языковые характеристики именно этого квантованного варианта в README не указаны. Модель распространяется по лицензии Apache 2.0.

Granite-4.0-1B — компактная инструктивная языковая модель IBM Granite Team, дообученная на базе Granite-4.0-1B-Base. Это модель класса causal language model с архитектурой GraniteMoeHybrid; в карточке указано 1,6 млрд параметров и контекст до 131 072 токенов. Модель предназначена для диалогов и выполнения инструкций, включая суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи с кодом и вызов функций. Компактный размер подходит для локального запуска на устройствах и дообучения под специализированные задачи. Модель поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; обучающие данные преимущественно англоязычные. По README, модель разработана с использованием контролируемого дообучения, обучения с подкреплением и слияния моделей. Доступна по лицензии Apache 2.0. Возможности вызова инструментов описаны в карточке, но качество многоязычных ответов может уступать английскому; модель также может выдавать неточные, предвзятые или небезопасные ответы.

salamanderDixon/granite-4.1-3b-heretic — производная версия Granite-4.1-3B, созданная методом abliteration: в карточке приведены параметры удаления отказов и сравнение с исходной моделью IBM. Это плотный decoder-only трансформер семейства Granite с 3,4 млрд параметров, предназначенный для диалогов и генерации текста. Метаданные указывают контекст до 131 072 токенов и формат safetensors. Модель подходит для ответов на вопросы, суммаризации, извлечения и классификации текста, RAG, задач с кодом и диалоговых сценариев. Базовая Granite-4.1-3B поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки, а также работу с инструментами. В приведённом сравнении у этой версии 3 отказа из 100 против 88 у исходной модели; снижение отказов может сопровождаться ослаблением защитного поведения. Лицензия — Apache 2.0.

Qwen3.5-4B — мультимодальная причинная языковая модель с энкодером изображений из семейства Qwen, разработанного командой Qwen. Репозиторий Yuqi123/Qwen3.5-4B-blockwise-fp8 содержит веса и конфигурацию в формате Hugging Face Transformers; базовая модель указана как Qwen/Qwen3.5-4B-Base. Модель предназначена для понимания текста и изображений, рассуждений, программирования, агентских сценариев и задач визуального анализа. Модель содержит около 4 млрд параметров, 32 слоя и скрытое измерение 2560. Она использует гибридную архитектуру с Gated DeltaNet, Gated Attention и разреженным Mixture-of-Experts, а также поддерживает мультимодальное обучение с ранним объединением токенов. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. README также указывает совместимость с Transformers, vLLM, SGLang и KTransformers. Сильными сторонами модели являются сочетание текстовых и визуальных возможностей, высокая эффективность архитектуры, большой контекст и широкое языковое покрытие. Ограничения включают меньший размер по сравнению с крупными моделями семейства, а также отсутствие в предоставленном README подробных сведений о качестве на всех задачах, требованиях к оборудованию и особенностях варианта blockwise-fp8. Модель распространяется по лицензии Apache-2.0.

Inkling-Small-NVFP4 — мультимодальная авторегрессионная модель, разработанная Thinking Machines и представленная в виде NVFP4-квантизованной версии модели Inkling-Small. Она принимает текст, изображения и аудио, а генерирует текст. Модель предназначена для разработчиков AI-приложений, включая агентные и tool-use системы, ассистентов программирования, чат-ботов и решения с retrieval-augmented generation, а также для диалогов, следования инструкциям и общих языковых и мультимодальных задач. Поддерживаются английский язык и, согласно описанию, общие мультиязычные сценарии, а также работа с несколькими языками программирования. Архитектура представляет собой 42-слойный decoder-only transformer с разреженным Mixture-of-Experts: из 256 экспертов для каждого токена выбираются 6, дополнительно активны 2 общих эксперта. Модель использует гибридные локальные и глобальные слои внимания, иерархический patch encoder для изображений и дискретное токенизирование аудио, объединяя модальности в общем скрытом пространстве. Всего модель содержит 276 млрд параметров, из которых активно 12 млрд; поддерживается формат NVFP4, а исходная модель также выпускается в BF16. Для изображений рекомендован размер каждой стороны от 40 до 4096 пикселей, для аудио — WAV с частотой 16 кГц и длительностью желательно менее двух минут. Размер контекстного окна в README не указан. Модель доступна с открытыми весами для исследований, дообучения и интеграции в сторонние продукты, а также может запускаться локально через совместимые инструменты экосистемы Transformers. К сильным сторонам относятся мультимодальность, MoE-архитектура с небольшим числом активных параметров и поддержка сценариев, требующих обработки текста, изображений и аудио. Ограничениями являются высокая общая параметрическая ёмкость и требования к инфраструктуре, а также отсутствие в предоставленном описании подробных результатов бенчмарков и точных характеристик контекста. Лицензия — Apache 2.0; дополнительно для использования действует политика допустимого применения разработчика.

Hyper-AI/Qwen3.5-9B-fp8 — квантизированная FP8-версия мультимодальной модели Qwen3.5-9B, основанная на Qwen/Qwen3.5-9B-Base. Модель предназначена для задач понимания и генерации текста, визуального анализа и сценариев vision-language, включая рассуждение, программирование, работу с изображениями и агентские приложения. Квантизация выполнена с использованием lightvl — инструментария, разработанного автором репозитория; модель совместима с Hugging Face Transformers, vLLM, SGLang и KTransformers, а запуск через vLLM заявлен как поддерживаемый. Это causal language model с vision encoder и 9 млрд параметров. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженный Mixture-of-Experts; языковая часть содержит 32 слоя, скрытое измерение 4096 и поддерживает контекст длиной 262 144 токена с расширением до 1 010 000 токенов. Qwen3.5 заявляет поддержку 201 языка и диалекта, однако конкретные языки и характеристики визуального энкодера для этой версии отдельно не раскрыты. Основные преимущества версии — снижение потребления памяти примерно с 19 до 12 ГБ и заявленное ускорение примерно на 30% по сравнению с исходной моделью, что делает её более подходящей для локального и высокопроизводительного инференса. Ограничения связаны с использованием FP8-квантизации: фактическая точность и совместимость могут зависеть от оборудования и программного стека, а в README не приведены подробные результаты сравнения именно с неквантизированной версией. Модель распространяется по лицензии Apache-2.0.

Shiftedx/qwen3.8-27b-aeon-ultimate-uncensored-attention8-bf16recurrence-vision-mtplx — независимая конверсия сообщества на базе AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED, подготовленная для Apple Silicon, MLX и MTPLX. Это плотная модель на 27 млрд параметров с гибридной архитектурой attention/Gated DeltaNet, поддерживающая работу с текстом и изображениями, рассуждения, вызов инструментов и структурированный вывод. Релиз не является официальным продуктом AEON-7, Qwen, Apple, MLX или MTPLX. Модель использует смешанную точность: аффинное 4-битное и 8-битное квантование весов, а отдельные рекуррентные проекции, vision tower и native multi-token prediction head сохранены в BF16. Репозиторий занимает около 23,84 ГБ, рассчитан на конфигурацию с 64 ГБ или более unified memory и поддерживает контекст до 262 144 токенов; квалификационное тестирование выполнено до 131 072 токенов. Заявлены языки English, Chinese и multilingual. Для ускорения предусмотрена спекулятивная генерация с MTP-head, квалифицированная на глубине 3. По опубликованным тестам модель получила 8/10 в проверке качества, 15/15 в тестах длинного контекста, 6/6 в вызове инструментов, 2/2 в лёгких агентских сценариях и 4/4 в vision-тестах. Сильными сторонами являются ориентация на качество локального запуска, мультимодальность, инструменты, длинный контекст и оптимизация под Apple Silicon. Ограничения включают высокие требования к памяти и зависимость производительности от оборудования и версии MTPLX; заявленные результаты относятся к конкретному Apple M4 Max с 64 ГБ памяти и не гарантируют аналогичную скорость на других системах. Модель распространяется по лицензии Apache-2.0, унаследованной от исходной линейки.

PassingByPixels/Qwen3.8-27B-NVFP4 — это квантованная версия мультимодальной модели Qwen3.8-27B, разработанной Qwen и преобразованной в формат NVFP4 с помощью NVIDIA TensorRT Model Optimizer 0.45.0. Модель предназначена для генерации и понимания текста, анализа изображений и видео, программирования, профессиональных и исследовательских задач, а также многошаговых агентских сценариев. Квантование не включало обучение или дообучение и представляет собой lossy-преобразование исходных весов bf16. Модель содержит около 27 млрд параметров и использует архитектуру causal language model с vision encoder. Она включает 64 слоя, механизм Gated DeltaNet с линейным вниманием, Gated Attention, MTP и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 000 000 токенов посредством RoPE scaling, например YaRN. Поддерживаемый язык в карточке указан как английский. Ключевая часть параметров представлена в 4-битном формате NVFP4 с блочными масштабами, а vision tower, эмбеддинги, LM head, MTP head и Gated DeltaNet сохранены в более высокой точности bf16. Основное преимущество — существенно меньшее потребление памяти и возможность запуска на одном устройстве DGX Spark с 128 ГБ памяти через vLLM и Blackwell FP4 path. При этом README не содержит оценки качества квантованной версии по сравнению с исходной bf16-моделью, поэтому возможное снижение точности следует учитывать. Лицензия — Apache-2.0.

Cohere Labs Command R7B Arabic — авторегрессионная языковая модель Cohere и Cohere Labs примерно с 8 млрд параметров: 7 млрд параметров трансформера и 1 млрд параметров эмбеддингов. Она оптимизирована для современного литературного арабского языка (MSA) и английского, а контекст составляет до 128 000 токенов. Архитектура использует чередование слоёв с локальным скользящим вниманием и слоя глобального внимания; после предварительного обучения модель прошла дообучение на инструкциях и обучение предпочтениям. Модель предназначена для диалогов, следования инструкциям и генерации ответов в сценариях RAG. При подаче фрагментов документов она может формировать ответы с внутритекстовыми ссылками на источники. Также подходит для извлечения информации, суммаризации, перевода и классификации; режим работы задаётся шаблоном промпта. README отмечает хорошие результаты на арабских тестах понимания языка, следования инструкциям и RAG. Весам доступна лицензия CC-BY-NC-4.0; также требуется соблюдать политику допустимого использования Cohere Labs. Модель принимает и выдаёт только текст. Хотя она оптимизирована прежде всего для арабского и английского, в обучающих данных присутствовали и другие языки; уровень её работы на них не гарантирован.

Dirk-Qwen3.8-27B-GGUF — это GGUF-квантизированная версия базовой модели Qwen/Qwen3.8-27B, подготовленная разработчиком peculiar-ragdoll. Модель представляет собой плотную vision-language модель с 27 млрд параметров, поддерживающую работу с текстом и изображениями. В карточке заявлены английский и китайский языки, а также совместимость с llama.cpp. Модель предназначена для диалогов, анализа изображений, генерации кода и агентских сценариев. Она использует модифицированный Sharp chat template с настройкой краткости ответов и поддерживает Multi-Token Prediction (MTP) для ускорения генерации средствами speculative decoding. По умолчанию используется умеренный уровень рассуждений; его можно изменить через chat_template_kwargs, выбрав low, medium или xhigh. Поддерживается отключение рассуждений. Основное отличие от исходной модели заключается в шаблоне чата: веса и MTP-компоненты сохранены без изменений. Доступны варианты квантования от примерно 2 до 4 бит, включая GSQ-RCO и Unsloth Dynamic 3.0, с размерами файлов примерно от 8,8 до 17,6 ГБ. Это позволяет запускать модель на видеокартах с 12, 16 и 24 ГБ памяти, хотя более сильное квантование может снижать качество, а доступный объём памяти также зависит от длины контекста. Точный максимальный размер контекста в карточке не указан. Лицензия — Apache 2.0.

unsloth/gemma-3-27b-it-GGUF — GGUF-версия instruction-tuned модели Gemma 3 27B, разработанной Google DeepMind и подготовленной для распространения Unsloth. Модель предназначена для генерации текста, диалогов, ответов на вопросы, суммаризации, рассуждений и понимания изображений с выдачей текстового ответа. Она подходит для локального запуска на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре при наличии достаточных ресурсов. Модель мультимодальная: принимает текст и изображения, нормализованные до 896×896 и представленные как 256 токенов каждое, а генерирует текст. Для версии 27B заявлено контекстное окно до 128K токенов и максимальный объём вывода 8192 токена. Gemma 3 поддерживает более 140 языков; в метаданных данного репозитория отдельно указан английский язык. Объём обучения 27B-версии составил 14 триллионов токенов. К сильным сторонам относятся большой контекст, мультимодальность, широкий языковой охват, instruction-tuned формат и возможность использования GGUF в совместимых локальных инструментах. Ограничения включают значительные требования к вычислительным ресурсам из-за размера 27B, а также зависимость совместимости и производительности от конкретного GGUF-квантизированного варианта и среды запуска; сведения о точном уровне квантизации в карточке не указаны. Использование регулируется лицензией Gemma и соответствующими Terms of Use Google.