II.4Отладка, тестирование и качество ПО

BCCard/Qwen3-30B-A3B-FP8-Dynamic — текстовая языковая модель, разработанная BC Card на основе Qwen/Qwen3-30B-A3B. Она предназначена для генерации текста, рассуждений, function calling, многоязычного следования инструкциям, перевода и создания предметно-ориентированных решений посредством дообучения. Модель принимает текст на вход и генерирует текст на выходе; поддержка других модальностей не указана. Архитектура модели — Qwen3MoeForCausalLM. Веса и активации линейных операторов в блоках Transformer квантизированы в FP8: для весов используется симметричная статическая поканальная схема, для активаций — симметричная динамическая потокеновая схема. Квантизация примерно вдвое снижает требования к GPU-памяти и размер модели на диске, а также может примерно вдвое увеличить пропускную способность матричных умножений. По данным оценки OpenLLM v1, средний результат составляет 67,56 против 67,62 у исходной модели, что указывает на почти полное сохранение качества. Для эффективного развёртывания рекомендуется использовать vLLM, включая OpenAI-совместимый режим сервинга. Точный размер контекста и перечень поддерживаемых языков в README не указаны. Модель выпущена 5 мая 2025 года, версия 1.0. Лицензия — Apache-2.0; использование не должно нарушать применимое законодательство и торговые ограничения.

AxionML/Qwen3.5-9B-NVFP4 — квантизированная версия мультимодальной модели Qwen3.5-9B, разработанная AxionML на базе Qwen/Qwen3.5-9B с использованием NVIDIA TensorRT Model Optimizer. Модель предназначена для открытого и коммерческого применения, локального развертывания и высокопроизводительного инференса в сценариях, связанных с обработкой текста и изображений, включая рассуждения, программирование, работу агентов и визуальное понимание. Модель представляет собой причинную языковую модель с vision encoder и поддерживает 9 млрд параметров. Архитектура сочетает Gated Delta Networks, разреженную Mixture-of-Experts и Gated Attention; заявлены 32 слоя, скрытая размерность 4096 и контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Qwen3.5 заявляет поддержку 201 языка и диалекта, однако конкретные языки и ограничения мультимодального ввода для этой сборки не уточнены. Линейные слои модели используют NVFP4-квантизацию весов и активаций: значения хранятся в 4-битном формате FP4 с блочным масштабированием FP8. Это уменьшает размер модели на диске и потребление GPU-памяти примерно в четыре раза по сравнению с BF16 и делает модель удобной для экономичного сервинга. Ограничением является потенциальная потеря качества из-за квантизации: в приведённых результатах NVFP4-версия немного уступает исходной Qwen3.5-9B на отдельных языковых бенчмарках. Для эффективной работы требуются совместимые аппаратные и программные средства, в частности GPU NVIDIA Blackwell и стек инференса с поддержкой NVFP4, например SGLang. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование.

Qwen3-VL-8B-Instruct-FP8 — мультимодальная instruction-модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия Qwen3-VL-8B-Instruct с мелкозернистой квантизацией и размером блока 128; согласно README, её показатели почти идентичны исходной версии BF16. Модель предназначена для обработки текста, изображений и видео, генерации ответов по визуальному и текстовому контексту, OCR, анализа документов, пространственного рассуждения, понимания длительных видеоматериалов, визуального программирования и взаимодействия с графическими интерфейсами через инструменты. Заявлены возможности работы с контекстом до 256K токенов с расширением до 1M, временная привязка событий в видео, улучшенное распознавание текста на 32 языках и поддержка задач STEM и математики. Ключевые архитектурные особенности включают Interleaved-MRoPE для позиционного кодирования времени, ширины и высоты, DeepStack для объединения многоуровневых признаков ViT и механизм выравнивания текста с временными метками. Ограничение текущей версии заключается в том, что Transformers пока не поддерживает прямую загрузку этих весов; для развёртывания рекомендуются vLLM или SGLang. Модель распространяется по лицензии Apache 2.0.

muranAI/gemma-3n-E4B-it-GGUF — коллекция GGUF-квантизованных версий instruction-tuned модели Gemma 3n E4B IT. Базовая модель разработана Google, а muranAI подготовила варианты для эффективного запуска с использованием llama.cpp и Ollama. Модель предназначена для диалоговых приложений, генерации текста, ответов на вопросы, программирования и других задач общего назначения. Архитектура — Gemma 3n с эффективным объёмом около 4 миллиардов параметров, контекстным окном 32 768 токенов и словарём размером 256 000 токенов. Заявлена многоязычная поддержка более 140 языков. Доступны варианты квантования от F16 и Q8_0 до Q2_K размером примерно от 2,6 до 13 ГБ, что позволяет выбирать между качеством, скоростью и требованиями к памяти. Модель оптимизирована для работы на обычных компьютерах и периферийных устройствах; поддерживаются CPU и совместимые GPU через llama.cpp или Ollama. Сильные стороны модели — instruction tuning для диалогов, расширенный контекст, многоязычность и широкий выбор степеней квантования. К ограничениям относятся потенциальная потеря качества в более агрессивно квантованных вариантах и зависимость производительности от оборудования и версии программного обеспечения. В README приведены ориентировочные результаты исходной модели на ряде бенчмарков, но они не обязательно отражают показатели каждой квантизованной версии. Распространение осуществляется по лицензии Gemma.

Карточка модели lxcxjxhx/gemma-4-E2B-HOS на Hugging Face совпадает с карточкой Albert0919c/gemma-4-E2B-it, поэтому описание составлено по ней. Albert0919c/gemma-4-E2B-it — дообученная инструктивная версия Gemma 4 E2B от Google DeepMind. Это плотная мультимодальная модель класса Gemma4 для диалогов, рассуждений, генерации и редактирования кода, а также понимания изображений и аудио. Она принимает текст и изображения; для варианта E2B поддерживаются распознавание речи и преобразование речи в переведённый текст. Модель выдаёт текст и подходит для локального запуска на мобильных устройствах и ноутбуках. Семейство Gemma 4 использует гибридное внимание с локальными скользящими окнами и глобальными слоями; для малых вариантов заявлено контекстное окно до 128 тысяч токенов. Поддерживаются многочисленные языки: семейство обучено более чем на 140 языках, а для практических сценариев README заявляет поддержку более 35. Возможности включают ответы на вопросы по изображениям, OCR, разбор документов, видеоанализ по кадрам и вызов инструментов. Репозиторий распространяется в формате Safetensors под лицензией Apache 2.0. Характеристики и возможности описаны для семейства Gemma 4; конкретные результаты этой дообученной версии отдельно не приведены. Как и другие генеративные модели, она может ошибаться в распознавании содержимого и ответах; видеоанализ относится к обработке последовательностей кадров.

Карточка модели unsloth/granite-3.2-2b-instruct на Hugging Face совпадает с карточкой ibm-granite/granite-3.2-8b-instruct, поэтому описание составлено по ней. Granite-3.2-8B-Instruct — плотная языковая модель IBM Granite Team с 8,2 млрд параметров, дообученная на базе ibm-granite/granite-3.1-8b-instruct для выполнения инструкций и задач рассуждения. Модель поддерживает управляемый режим рассуждения, который можно включать по необходимости, и работает через библиотеку Transformers; доступны веса в формате safetensors. Модель предназначена для диалоговых помощников и общих прикладных сценариев: суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова функций. Контекст — до 131 072 токенов, что подходит для анализа длинных документов и стенограмм. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель распространяется по лицензии Apache 2.0. README указывает, что к ней применимы этические ограничения и ограничения Granite-3.1-8B-Instruct; конкретные ограничения в карточке не перечислены.

Granite-4.0-H-Micro — компактная инструктивная языковая модель, опубликованная Unsloth и разработанная командой Granite компании IBM. В карточке указано 3 млрд параметров, а в метаданных репозитория — 2,6 млрд; модель основана на ibm-granite/granite-4.0-h-micro и дообучена на открытых инструктивных и синтетических данных с применением supervised fine-tuning, выравнивания с подкреплением и объединения моделей. Используется архитектура decoder-only с компонентами GQA, Mamba2, SwiGLU и RMSNorm; формат весов — Safetensors, библиотека — Transformers, контекст — до 131 072 токенов. Модель предназначена для диалоговых ассистентов и бизнес-приложений. Она следует инструкциям, поддерживает вызов инструментов и подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом, заполнения пропусков в коде и многоязычного диалога. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Лицензия — Apache 2.0. Качество на многоязычных задачах может уступать английскому; модель также может выдавать неточные, предвзятые или небезопасные ответы, поэтому её следует проверять и настраивать под конкретный сценарий.

Granite-4.1-30B-Base — базовая авторегрессионная языковая модель IBM Granite Team для генерации текста и широкого круга задач преобразования текста. Это плотный decoder-only Transformer с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами; модель содержит 28,9 млрд параметров и распространяется в формате safetensors для Transformers. Карточка описывает обучение с нуля примерно на 15 трлн токенов и расширение контекста до 512 тыс. токенов, тогда как метаданные репозитория указывают нативное контекстное окно 131 072 токена. Модель рассчитана на суммаризацию, классификацию и извлечение информации, ответы на вопросы, длинную генерацию и дополнение кода, включая Fill-in-the-Middle. Поддерживаемые языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Это базовая модель без выравнивания безопасности; для прикладных сценариев её можно дообучать под специализированные задачи. Лицензия Apache 2.0.

NVIDIA-Nemotron-3-Super-120B-A12B-FP8 — большая языковая модель, разработанная NVIDIA Corporation. Она предназначена для агентских рабочих процессов, рассуждений, диалогового взаимодействия, использования инструментов, RAG-сценариев и высоконагруженных задач, включая автоматизацию обработки IT-заявок. Модель поддерживает генерацию текста, text-to-text, image-to-text, reasoning и tool-calling. Модель имеет 120 млрд параметров, из которых 12 млрд активны при обработке запроса. Архитектура LatentMoE объединяет Mamba-2, Mixture of Experts и механизмы attention, а также использует Multi-Token Prediction. Максимальная длина контекста составляет до 1 млн токенов. Поддерживаются английский, французский, немецкий, итальянский, японский, испанский и китайский языки. Режим рассуждений можно включать или отключать через параметр chat template enable_thinking. К сильным сторонам относятся поддержка длинного контекста, агентских сценариев, вызова инструментов и масштабируемой обработки больших объёмов запросов. Для развёртывания требуется минимум 2 GPU H100 с 80 ГБ памяти каждый; README также не содержит подробных результатов оценки, поэтому качество в конкретных прикладных задачах следует проверять отдельно. Модель распространяется по лицензии NVIDIA Nemotron Open Model License.

unsloth/Phi-3.5-mini-instruct — инструктивная языковая модель, представленная Unsloth как вариант Microsoft Phi-3.5-mini-instruct. Это плотная авторегрессионная модель с архитектурой LlamaForCausalLM и 3,7 млрд параметров; репозиторий содержит веса Safetensors и поддерживает Transformers. Модель рассчитана на диалоги, генерацию текста и использование в приложениях с ограничениями по памяти или задержке. Модель подходит для ответов на вопросы, многоязычных диалогов, суммаризации длинных документов, извлечения сведений из текста, а также задач на код, математику и логику. В карточке базовой модели заявлена поддержка контекста до 128 тысяч токенов, однако метаданные этого репозитория указывают нативный контекст 4096 токенов, поэтому для данного варианта следует ориентироваться на значение из метаданных. README описывает семейство как многоязычное, но не перечисляет конкретные языки. Модель дообучена на основе microsoft/Phi-3.5-mini-instruct; README отмечает улучшения многоязычных диалогов, следования инструкциям и рассуждений, но предупреждает о возможных ошибках и уязвимости к многошаговым обходам защит. Лицензия репозитория — MIT; перед применением в критичных сценариях необходимо оценить точность и безопасность ответов.

FastFlowLM/Qwen3.5-4B-NPU2 — мультимодальная причинная языковая модель с энкодером зрения, основанная на Qwen/Qwen3.5-4B. Модель разработана командой Qwen и предназначена для обработки текста и изображений, включая визуальное понимание, рассуждения, программирование и агентские сценарии. Модель содержит около 4 млрд параметров, 32 слоя и использует гибридную архитектуру Gated Delta Networks со sparse Mixture-of-Experts и блоками Gated Attention. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Модель распространяется в формате, совместимом с Hugging Face Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся мультимодальность, большой контекст, высокая языковая и визуальная универсальность, а также акцент на эффективный инференс с низкой задержкой и умеренными вычислительными затратами. Ограничения, включая качество на отдельных языках, требования к оборудованию и особенности варианта NPU2, в README не уточняются. Лицензия — Apache 2.0.

NVIDIA Qwen3.6-35B-A3B-NVFP4 — квантизированная версия языковой модели Qwen3.6-35B-A3B, разработанной Alibaba и подготовленной NVIDIA с использованием Model Optimizer. Модель предназначена для генерации текста, чат-ботов, AI-агентов, RAG-систем и других приложений на базе ИИ. Модель использует архитектуру Transformers с гибридным вниманием и Mixture-of-Experts (MoE): всего 35 млрд параметров, из которых активируется 3 млрд. Она поддерживает текстовые, графические и видеовходы, включая изображения RGB и видео MP4/WebM, а также контекст длиной до 262 тысяч токенов; выходом служит текст. Для запуска заявлена поддержка vLLM на Linux и NVIDIA GPU архитектур Hopper и Blackwell. Квантизация выполнена в формат NVFP4 с помощью nvidia-modelopt версии 0.44.0, что ориентировано на эффективный инференс на совместимом оборудовании. Сильными сторонами модели являются большой контекст, мультимодальные входы, MoE-архитектура с небольшим числом активных параметров и готовность к развертыванию через vLLM. Ограничения включают зависимость от совместимой NVIDIA-инфраструктуры, неполное раскрытие данных об обучении и необходимость дополнительного тестирования на данных конкретного сценария. Использование регулируется лицензией Apache 2.0; модель доступна для коммерческого и некоммерческого применения.

Riyan200324200324/Qwen3.8-27B — это GGUF-версия модели Qwen3.8-27B, основанная на Qwen/Qwen3.8-27B и модифицированная HauhauCS в профиле Aggressive. Модель предназначена для генерации текста, рассуждений, агентских сценариев, обработки изображений и видео. Aggressive-профиль ориентирован на прямые ответы без выраженного отказного поведения и с минимальным вступлением на сложных запросах; при этом README предупреждает, что для критически важных задач с длинным контекстом более сбалансированный профиль может быть надёжнее. Это плотная причинная языковая модель на 27 млрд параметров с отдельным vision-проектором BF16 для мультимодального ввода. Архитектура включает 64 слоя языковой модели, скрытый размер 5120, размер FFN 17408, словарь 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживаются встроенный MTP/NextN и дополнительный профиль ускорения HauhauCS FastMTP 32K. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Заявлены английский, китайский и мультиязычный режимы. Сильные стороны модели — широкий набор текстовых и мультимодальных возможностей, большой контекст, варианты GGUF-квантизации от Q2 до Q8 и ускорение FastMTP. Ограничения включают зависимость мультимодального режима от отдельного vision-проектора, возможное снижение качества при агрессивной квантизации и менее осторожное поведение из-за uncensored-профиля. Модель распространяется по лицензии Apache-2.0.

Bernhard Brieger подготовил эту модель как посттренировочную NVFP4-квантизацию базовой Qwen/Qwen3.8-27B. Это мультимодальная модель для обработки текста и изображений, сохранившая языковую часть, vision tower и слой Multi-Token-Prediction (MTP). Квантизация не меняет логическое число параметров: оно составляет около 27,78 млрд, а размер весов на диске уменьшен до 20,59 ГБ по сравнению с 55,56 ГБ в формате bf16. Модель предназначена для следования инструкциям, программирования, диалогов, вызова инструментов и функций, работы с изображениями, а также задач с длинным контекстом, включая обработку документов объёмом свыше 100 тысяч токенов. Архитектура Qwen3_5ForConditionalGeneration включает 64 слоя: 48 слоёв с линейным вниманием Gated-DeltaNet и 16 слоёв с полным вниманием. Нативный контекст составляет 262 144 токена; работа проверена на контексте до 163 840 токенов с FP8 KV-кэшем. Поддерживается схема NVFP4 W4A4 с 4-битными весами и активациями, а критически важные компоненты, включая embeddings, lm_head, vision tower, нормализации и MTP-слой, сохранены в bf16. Главное преимущество модели — значительное снижение требований к памяти при сохранении мультимодальности и длинного контекста: объём весов уменьшен на 62,9%. Проверенным вариантом запуска является vLLM с backend modelopt_fp4. Формат NVFP4 требует аппаратной поддержки FP4-тензорных ядер и рассчитан на GPU поколения Blackwell с архитектурами sm_100 или sm_120; на более старых GPU модель работать не может. Это только квантизация исходной модели без дополнительного дообучения, дистилляции или усиленного обучения безопасности, поэтому заявленные данные не показывают разницу качества с полной версией. Лицензия — Apache-2.0.

Qwen3-VL-30B-A3B-Instruct-FP8 — мультимодальная vision-language модель из семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия Qwen3-VL-30B-A3B-Instruct с мелкозернистым квантованием и размером блока 128; заявлено, что её производительность почти идентична исходной версии в формате BF16. Модель предназначена для понимания и генерации текста с учётом изображений и видео. Модель ориентирована на визуальное восприятие и рассуждение, анализ документов и сцен, OCR, пространственное понимание, обработку длинных текстов и многочасовых видео, а также на визуальное управление PC- и мобильными GUI, вызов инструментов и выполнение задач агентом. Она поддерживает генерацию Draw.io, HTML, CSS и JavaScript по изображениям и видео, STEM- и математическое рассуждение, а также временную локализацию событий в видео. Заявлен нативный контекст 256K токенов с возможностью расширения до 1M, а OCR поддерживает 32 языка; полный перечень языков в README не указан. К сильным сторонам относятся объединённое текстово-визуальное понимание, улучшенное распознавание объектов и документов, анализ пространственных отношений и видео, а также архитектурные механизмы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Ограничение при развёртывании заключается в том, что Transformers пока не поддерживает прямую загрузку этих весов; README рекомендует vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.

Mungert/Qwen3-VL-30B-A3B-Instruct-GGUF — квантованный формат GGUF модели Qwen3-VL-30B-A3B-Instruct из семейства Qwen. Репозиторий подготовлен пользователем Mungert с использованием llama.cpp. Модель предназначена для мультимодального понимания и генерации: работы с текстом, изображениями и видео, визуального анализа, распознавания текста, пространственного рассуждения, решения STEM- и математических задач, а также взаимодействия с графическими интерфейсами и инструментами. Модель использует архитектуру Mixture of Experts (MoE) с заявленным размером 30B и активной частью 3B параметров. Она поддерживает контекст до 256K токенов с возможностью расширения до 1M, обработку длинных документов и продолжительных видео с временной индексацией. Среди архитектурных особенностей указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Улучшено распознавание объектов, документов и текста; OCR заявлен для 32 языков. Модель также может генерировать Draw.io, HTML, CSS и JavaScript по изображениям или видео. К сильным сторонам относятся сочетание текстового и визуального понимания, расширенный контекст, анализ пространственных отношений и видео, а также возможность применения в визуальных агентах и задачах визуального программирования. Ограничения связаны с использованием квантованного GGUF-представления: качество, скорость и требования к памяти зависят от выбранного уровня квантования и среды запуска. В репозитории также описан экспериментальный подход к повышению точности отдельных слоёв, увеличивающий размер файлов. Лицензия — Apache-2.0.

Granite-3.1-3B-A800M-Instruct — языковая модель IBM Granite Team для выполнения общих инструкций и создания диалоговых ассистентов. Это дообученная версия Granite-3.1-3B-A800M-Base: метаданные относят её к семейству Granite MoE, а README описывает decoder-only архитектуру с GQA, RoPE, SwiGLU и RMSNorm. В репозитории указано 352,3 млн параметров и контекст до 131 072 токенов. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова функций. Она поддерживает диалоги на английском, немецком, испанском, французском, японском, португальском, арабском, чешском, итальянском, корейском, нидерландском и китайском языках; также подходит для анализа длинных документов и записей встреч. README указывает, что обучение инструкциям преимущественно велось на английском, поэтому качество на других языках может быть ниже. Модель принимает текст и генерирует текст. Она выпущена под лицензией Apache 2.0. Ответы могут быть неточными, предвзятыми или небезопасными; для конкретных сценариев нужны проверка и настройка.

Granite-4.0-1B — компактная инструктивная языковая модель команды Granite компании IBM, представленная в репозитории Unsloth. Это дообученная версия Granite-4.0-1B-Base: при обучении применялись supervised fine-tuning, обучение с подкреплением и слияние моделей. Архитектура — декодерный трансформер с классом GraniteMoeHybridForCausalLM; в карточке также описаны GQA, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Размер модели — 1,6 млрд параметров, контекст — до 131 072 токенов. Модель предназначена для диалогов и выполнения инструкций, включая суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи с кодом и вызов инструментов. Поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Компактный размер подходит для локального развёртывания и дообучения под специализированные задачи. Лицензия — Apache 2.0. Качество на языках помимо английского может быть ниже; модель способна выдавать неточные, предвзятые или небезопасные ответы. Для конкретного сценария необходимы проверка и настройка поведения.

Granite-4.0-H-Tiny — диалоговая языковая модель, представленная Unsloth на основе модели IBM Granite и предназначенная для выполнения инструкций и создания ассистентов. В README указано 7 млрд параметров, тогда как метаданные репозитория содержат оценку 500,2 млн параметров; поэтому размер не приводится как однозначно установленный. Модель построена на декодерной гибридной MoE-архитектуре с GQA, Mamba2, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Контекст — до 131 072 токенов. Модель подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом, многоязычного диалога и вызова инструментов. Разработчики заявляют поддержку английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Репозиторий Unsloth описан как дообучение базовой модели IBM; карточка Granite сообщает о настройке инструкциями, выравнивании и слиянии моделей. Лицензия — Apache 2.0. Качество на языках помимо английского может быть ниже; модель также может выдавать неточные, предвзятые или небезопасные ответы. Для специализированного применения рекомендуется проверка и настройка.

unsloth/Qwen3-VL-8B-Instruct-1M-GGUF — GGUF-версия 8-миллиардной мультимодальной instruct-модели Qwen3-VL, подготовленная Unsloth на основе Qwen/Qwen3-VL-8B-Instruct. Модель предназначена для понимания и генерации текста с учётом изображений и видео, визуального анализа, OCR, математических и STEM-задач, анализа документов, пространственного рассуждения, генерации кода и взаимодействия с графическими интерфейсами через визуального агента. Модель использует плотную архитектуру с 8B параметров и поддерживает текст, изображения и видео. Заявлено нативное контекстное окно 256K токенов с возможностью расширения до 1M, что позволяет обрабатывать книги и длительные видеоматериалы с временной привязкой событий. Среди архитектурных особенностей указаны Interleaved-MRoPE для позиционного кодирования времени, ширины и высоты, DeepStack для объединения многоуровневых визуальных признаков и Text–Timestamp Alignment для локализации событий в видео. OCR поддерживает 32 языка. Сильные стороны модели — объединённое текстово-визуальное понимание, улучшенная работа с пространственными отношениями, длинным контекстом, видео, документами и визуальными интерфейсами. Ограничения, такие как фактическая точность на конкретных наборах данных, требования к ресурсам и поддерживаемые языки вне OCR, в README не уточняются. Репозиторий распространяется по лицензии Apache-2.0; для использования через llama.cpp рекомендуется включать параметр --jinja из-за исправлений chat template от Unsloth.

unsloth/Qwen3-VL-8B-Instruct-unsloth-bnb-4bit — это 4-битно квантованная версия мультимодальной vision-language модели Qwen3-VL-8B-Instruct, подготовленная Unsloth на базе Qwen/Qwen3-VL-8B-Instruct. Модель предназначена для обработки и генерации текста по текстовым, визуальным и видеоданным, а также для мультимодального рассуждения, анализа документов, OCR, понимания пространственных отношений и взаимодействия с графическими интерфейсами через визуального агента. Она также ориентирована на генерацию кода и разметки Draw.io, HTML, CSS и JavaScript по изображениям и видео. Модель использует плотную архитектуру размером 8B параметров и поддерживает контекст длиной 256K токенов с возможностью расширения до 1M. Среди заявленных компонентов — Interleaved-MRoPE для позиционного кодирования времени, ширины и высоты, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа событий в видео. Заявлена поддержка OCR на 32 языках, включая работу с размытыми, наклонёнными и низкоконтрастными изображениями, а также понимание длинных документов и продолжительных видеозаписей. К сильным сторонам относятся сочетание текстового и визуального понимания, развитое пространственное и временное рассуждение, обработка изображений и видео, а также сниженные требования к памяти благодаря формату unsloth-bnb-4bit. Ограничения включают возможную потерю точности из-за 4-битной квантизации и необходимость совместимого программного окружения для запуска мультимодальных сценариев; точный перечень поддерживаемых языков и требования к аппаратному обеспечению в представленном README не указаны. Модель распространяется по лицензии Apache-2.0.

unsloth/gemma-3-12b-it-unsloth-bnb-4bit — это 4-битная квантованная instruction-tuned версия Gemma 3 12B, разработанная Google DeepMind и подготовленная Unsloth. Модель использует открытые веса и предназначена для запуска и дообучения через Transformers, включая сценарии локального развёртывания на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Модель принимает текст и изображения, а генерирует текст. Она подходит для ответов на вопросы, суммаризации документов, рассуждений и анализа изображений. Для версии 12B заявлено контекстное окно до 128K токенов, изображения приводятся к разрешению 896 × 896 и кодируются в 256 токенов каждое, максимальный объём генерируемого результата составляет 8192 токена. Gemma 3 поддерживает более 140 языков, однако в метаданных этой карточки явно указан английский язык. Ключевое преимущество варианта — снижение требований к памяти благодаря 4-битной квантизации; Unsloth также указывает на селективную Dynamic Quantization, призванную сохранить больше качества по сравнению со стандартной 4-битной квантизацией. Ограничения включают возможные потери качества из-за квантизации, необходимость совместимого программного и аппаратного окружения, а также типичные риски генеративных моделей: ошибки, неточные ответы и зависимость результатов от формулировки запроса. Модель распространяется по лицензии Gemma; применяются соответствующие условия использования Google.

Карточка модели MeFFyLe/gemma-4-12B-it-uncensored-heretic на Hugging Face совпадает с карточкой llmfan46/gemma-4-12B-it-uncensored-heretic, поэтому описание составлено по ней. llmfan46/gemma-4-12B-it-uncensored-heretic — производная от Google Gemma 4 12B IT модель, опубликованная независимым автором. По README это мультимодальная модель для диалога, рассуждений, программирования и понимания текста, изображений, видео и аудио. Вариант 12B построен на плотной архитектуре Gemma 4 Unified с чередованием локального скользящего и глобального внимания; заявленный контекст базовой модели — до 256K токенов. Модель поддерживает многоязычные сценарии и вызов инструментов. В названии и тегах автор характеризует эту версию как uncensored, decensored и abliterated; README сообщает о целевом компоненте attn.o_proj, но не раскрывает конкретную методику изменения модели. Заявлены распознавание речи и перевод речи в текст, а также анализ изображений и последовательностей видеокадров. Возможные применения включают диалоговых помощников, извлечение сведений из документов и изображений, суммаризацию и генерацию кода. Ответы могут содержать фактические ошибки, отражать смещения обучающих данных и быть ненадёжными при неоднозначных или сложных запросах. Указанная в метаданных лицензия — Apache-2.0.

Granite-3.0-2B-Instruct — языковая модель IBM Granite Team для выполнения общих инструкций и создания диалоговых помощников. Это дообученная на основе Granite-3.0-2B-Base плотная decoder-only трансформерная модель на 2,5 млрд параметров; в обучении использовались supervised fine-tuning, выравнивание с подкреплением и слияние моделей. Архитектура включает GQA, RoPE, SwiGLU и RMSNorm. Модель принимает текст и генерирует текст, поддерживает контекст до 4096 токенов и структурированный формат чата, включая интерфейс вызова инструментов. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и многоязычного диалога. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; качество может быть ниже на языках, отличных от английского. Ответы могут быть неточными, предвзятыми или небезопасными, поэтому для прикладного использования требуется оценка модели. Лицензия — Apache 2.0.

Granite-4.0-Tiny-Preview — инструктивная языковая модель команды Granite компании IBM. Это гибридная архитектура Mixture-of-Experts для генерации текста; метаданные указывают 421,5 млн параметров, а README приводит оценку 7 млрд параметров. Модель дообучена на Granite-4.0-Tiny-Base-Preview с помощью обучения на инструкциях и выравнивания с подкреплением. Лицензия — Apache 2.0. Модель предназначена для выполнения инструкций и интеграции в ассистентов. Она поддерживает диалог, вызов инструментов, суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи по коду и работу с длинными документами и встречами. Указанное в метаданных окно контекста составляет 131 072 токена. README перечисляет 12 поддерживаемых языков: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Модель может применяться в бизнес-ассистентах и сценариях работы с длинным контекстом. README отмечает использование как открытых наборов данных с разрешительными лицензиями, так и внутренних синтетических данных. Чекпойнт имеет статус preview; для запуска README рекомендует установить Transformers из исходного кода. Подробные ограничения и результаты оценки в предоставленной карточке не приведены.

unsloth/granite-4.1-3b — вариант модели Granite 4.1-3B, опубликованный Unsloth на базе инструктивной модели IBM Granite 4.1-3B. Это плотная decoder-only трансформерная языковая модель с 3,4 млрд параметров и контекстом до 131 072 токенов. В архитектуре базовой модели используются GQA, RoPE, SwiGLU и RMSNorm. Модель предназначена для диалоговых ассистентов, следования инструкциям и агентных сценариев с вызовом инструментов. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи с кодом и многоязычный диалог. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; обучающие данные преимущественно англоязычные. Репозиторий содержит веса Safetensors, карточка отмечает исправления шаблона чата Unsloth. Лицензия — Apache 2.0. Модель может ошибаться, выдавать предвзятые или небезопасные ответы; качество на языках помимо английского может быть ниже. Для конкретных задач и развёртывания рекомендуется проверка и настройка безопасности.

NVIDIA Qwen3.8-27B NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3.8-27B, разработанной Alibaba, подготовленная с использованием NVIDIA Model Optimizer. Модель основана на архитектуре Transformer, содержит около 27 млрд параметров и предназначена для генерации текста и мультимодального понимания. Модель рассчитана на AI-агентов, чат-ботов, RAG-системы и другие приложения на базе искусственного интеллекта. Она принимает текст, изображения и видео, а выдаёт текст; заявленная длина контекста достигает 262 тысяч токенов. Квантизация использует смешанный формат NVFP4/FP8: NVFP4 применяется к MLP-слоям и языковой голове, а FP8 — к слоям self-attention и linear attention. Для запуска указаны vLLM и SGLang на GPU NVIDIA Blackwell, предпочтительно в Linux. К сильным сторонам относятся большой контекст, поддержка мультимодальных входных данных, оптимизация для ускоренного вывода на совместимом оборудовании NVIDIA и снижение требований к памяти благодаря квантизации. Ограничения включают зависимость от NVIDIA Blackwell и поддерживаемых сред выполнения, а также отсутствие раскрытых сведений о полном обучающем наборе данных, его размере и языковом составе. Перед промышленным использованием необходимы тестирование на прикладных данных и проверка безопасности. Модель распространяется по лицензии Apache 2.0 и заявлена для коммерческого и некоммерческого использования.

Qwen3-VL-30B-A3B-Thinking-FP8 — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия модели Qwen3-VL-30B-A3B-Thinking с fine-grained-квантизацией и размером блока 128; заявлено, что её показатели почти идентичны исходной версии в формате BF16. Модель предназначена для генерации и понимания текста, анализа изображений и видео, визуального рассуждения, OCR, пространственного анализа, STEM- и математических задач, а также взаимодействия с графическими интерфейсами и инструментами. Модель использует архитектуру MoE с 30 млрд параметров и 3 млрд активных параметров. Среди заявленных компонентов — Interleaved-MRoPE для временных и пространственных признаков, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа событий в видео. Поддерживаются текст, изображения и видео; заявлен нативный контекст 256K с возможностью расширения до 1M. OCR поддерживает 32 языка, однако полный перечень языков в README не указан. Сильные стороны модели — развитое мультимодальное понимание, обработка длинного контекста, анализ пространственных отношений и видеодинамики, распознавание текста на сложных изображениях, а также возможности визуального кодирования и агентного взаимодействия. Ограничения включают отсутствие прямой поддержки загрузки этих весов в Transformers на момент публикации README; для развёртывания рекомендованы vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-30B-A3B-Thinking-GGUF — это GGUF-версия мультимодальной vision-language модели Qwen3-VL-30B-A3B-Thinking, разработанной командой Qwen. Репозиторий содержит веса языковой модели и отдельного vision encoder в форматах FP16, Q8_0 и Q4_K_M для языковой части и FP16 и Q8_0 для vision encoder. Модель предназначена для совместного понимания изображений, видео и текста, визуального и математического рассуждения, OCR, анализа пространственных отношений, обработки длинных документов и видео, а также взаимодействия с графическими интерфейсами и инструментами. Заявлены возможности генерации кода и разметки по изображениям и видео, включая Draw.io, HTML, CSS и JavaScript. Поддерживаются нативный контекст до 256K токенов с возможностью расширения до 1M и OCR на 32 языках, однако конкретный полный список языков в README не приведён. Архитектурные улучшения включают Interleaved-MRoPE для моделирования времени, ширины и высоты, DeepStack для объединения многоуровневых признаков ViT и выравнивание текста с временными метками для анализа событий в видео. GGUF-файлы совместимы с llama.cpp, Ollama и другими GGUF-инструментами, работают на CPU, NVIDIA GPU, Apple Silicon и Intel GPU; точность компонентов можно выбирать отдельно в зависимости от ресурсов. Ограничения — значительные требования к памяти и производительности, зависящие от выбранной точности, а также отсутствие в README детальных числовых результатов тестов и полного перечня поддерживаемых языков. Модель распространяется по лицензии Apache-2.0.

Alaya-7B-Chat — разговорная языковая модель компании DataCanvas, построенная на архитектуре MPT. Модель обучали на более чем 1,5 трлн токенов многоязычных данных; версия Chat прошла supervised fine-tuning на более чем 500 тыс. примеров инструкций и диалогов. В карточке указаны китайский и английский языки, формат весов PyTorch и лицензия Apache 2.0, допускающая коммерческое использование. Модель предназначена для многоходового общения, ответов на вопросы, написания кода, извлечения информации, понимания прочитанного и творческого письма. Дополнительная настройка охватывает китайско- и англоязычные логические рассуждения, ролевые сценарии, самоописание и отказ на часть запросов с предвзятым содержанием. Разработчик предупреждает, что модель может выдавать ошибочные или непредвиденные ответы, а настройка на отказ не устраняет токсичные выходы полностью. Для практического применения следует проверять ответы; при использовании модели рекомендуется указывать DataCanvas как источник.