II.1Анализ требований и архитектура ПО

sergeyzh/rubert-mini-uncased — компактная BERT-модель автора sergeyzh для получения эмбеддингов предложений на русском и английском языках. Она создана дистилляцией эмбеддингов ai-forever/FRIDA: модель имеет 7 слоёв, размер эмбеддинга 384 и контекст до 512 токенов. Веса доступны в формате safetensors, лицензия — MIT. Модель предназначена для оценки семантического сходства предложений, поиска и сравнения текстов, а также задач классификации и кластеризации на основе эмбеддингов. README указывает поддержку префиксов FRIDA, включая search_query: и search_document:, и приводит результаты по STS, идентификации перефразирований, выводу по тексту, анализу тональности и выявлению токсичности. Модель uncased: регистр букв не влияет на токенизацию. В приведённых сравнениях она уступает FRIDA по ряду метрик; максимальная длина контекста ограничена 512 токенами.

WaveCut/Ternary-Bonsai-2-27B-NInfer-v3 — артефакт PrismML Ternary Bonsai 2 27B, подготовленный для движка NInfer-3090 в ветке franken/v0.11. Модель объединяет базовую модель PrismML с MTP-головой от ProCreations и адаптером DFlash2 от ProCreations, обученным совместно с z-lab. Распространяется по лицензии Apache-2.0. Модель предназначена для генерации текста и мультимодальных сценариев с обработкой изображений и текста. Она поддерживает текстовый профиль, Vision-профиль, ускоренное декодирование MTP и DFlash2, а также специальную proposal head для чернового прогнозирования токенов. Используется архитектура Qwen3.8-27B с 27 млрд параметров; текстовые проекции представлены тернарными весами с 2-битными кодами и масштабом FP16 на группы из 128 элементов, применяются Hadamard-ротации. В состав также входят vision tower, чат-шаблон Qwen3.8 и контекст до 198 400 токенов в указанной конфигурации. Языки модели в README не перечислены. Сильными сторонами являются существенное снижение объёма весов, поддержка мультимодального ввода, длинного контекста и ускоренного вывода через MTP или DFlash2. Варианты запуска требуют совместимой сборки NInfer-3090 ветки franken/v0.11; стандартные сборки NInfer этот файл не поддерживают. Для работы необходима совместимая видеопамять и точные версии движка, поскольку разные ревизии имеют ограничения при загрузке Vision, MTP и DFlash2-профилей. README не приводит независимых оценок качества или перечня поддерживаемых языков.

Tucano2-qwen-3.7B-Instruct — компактная языковая модель Polygl0t для диалогов и выполнения инструкций на португальском языке. Она основана на Tucano2-qwen-3.7B-Base и дообучена в два этапа: supervised fine-tuning и Anchored Preference Optimization (APO). Модель построена на плотной архитектуре Transformer семейства Qwen3, содержит около 3,4 млрд параметров и принимает контекст до 4096 токенов. Модель подходит для генерации ответов, суммаризации, формирования структурированных данных, сценариев RAG, вызова функций и использования инструментов. Разработчики сообщают о результатах на португальских и других бенчмарках, включая задачи на знания, следование инструкциям и программирование. Модель рассчитана прежде всего на исследования и разработку португалоязычных систем; для других языков возможны ошибки понимания и ответов. Модель может галлюцинировать, воспроизводить предвзятость и токсичность обучающих данных, повторяться или давать избыточные ответы. Для применения в реальных системах рекомендуется самостоятельно оценивать риски и качество. Лицензия — Apache 2.0.

ricepaper/vi-gemma-2-2b-function-calling — языковая модель, разработанная hiieu, himmeow the coder и cuctrinh и дообученная на базе unsloth/gemma-2-2b-it-bnb-4bit. Она предназначена для диалогов и вызова одной или нескольких функций по запросу пользователя; обучающие данные включали диалоги с вызовами функций в формате ChatML и многоязычные данные, переведённые на вьетнамский язык. Модель также подходит для чат-ботов, систем вопросно-ответного поиска, суммаризации, перевода и агентных сценариев. Это плотная авторегрессионная Gemma 2 с 2,7 млрд параметров и контекстом до 8192 токенов. Основные языки — вьетнамский и английский; заявлена также работа с многоязычными данными. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0. Качество выполнения вызовов зависит от предоставленных функций и настроек генерации. README отмечает, что для эффективной работы могут потребоваться подходящая аппаратная конфигурация и настройка параметров генерации.

WhiteRabbitNeo-2.5-Qwen-2.5-Coder-7B-GGUF — это набор GGUF-квантизаций модели WhiteRabbitNeo-2.5-Qwen-2.5-Coder-7B, разработанной WhiteRabbitNeo и подготовленной пользователем bartowski. Модель предназначена для генерации текста и решения задач, связанных с программированием; в карточке указаны английский язык, библиотека Transformers и тег code. Доступны варианты для локального запуска через llama.cpp и LM Studio. Модель относится к семейству Qwen-2.5-Coder и имеет размер 7B параметров. В репозитории представлены версии от F16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ4_XS, включая варианты, оптимизированные для ARM. Квантизация выполнена с использованием imatrix на базе llama.cpp; размеры файлов составляют примерно от 4,09 до 15,24 ГБ. Рекомендуемые варианты обеспечивают компромисс между качеством и требованиями к памяти, а Q6_K_L и Q6_K описаны как близкие к исходному качеству. Сильная сторона модели — широкий выбор квантизаций для локального запуска на оборудовании с разным объёмом памяти. Ограничения включают возможное снижение качества в низкобитных вариантах, отсутствие сведений о размере контекста, точной архитектуре, дополнительных языках и мультимодальных возможностях. Лицензия — Apache-2.0.

Qwen2.5-14B-Instruct-AWQ — инструкционная причинно-следственная языковая модель семейства Qwen, разработанная командой Qwen. Модель предназначена для диалоговых систем, генерации и обработки текста, следования инструкциям, работы с кодом и математическими задачами, а также создания структурированных ответов, включая JSON. Модель содержит около 14,7 млрд параметров, из них 13,1 млрд без учёта эмбеддингов, и включает 48 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm и смещения в QKV-проекциях внимания; применяется GQA с 40 головами для Q и 8 для KV. Это AWQ-квантизированная версия с точностью 4 бит, предназначенная для более экономичного развёртывания. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. Полная заявленная длина контекста составляет до 131 072 токенов, а максимальная длина генерации — 8192 токена. В текущей конфигурации доступно 32 768 токенов; для более длинных входов требуется настройка YaRN, причём статическое масштабирование может ухудшать качество или производительность на коротких текстах. Сильные стороны модели — улучшенное следование инструкциям, работа с длинными текстами, структурированными данными, программированием и математикой. Ограничения включают возможные потери качества из-за 4-битной квантизации и повышенные требования к настройке при использовании длинного контекста. Модель распространяется по лицензии Apache 2.0.

Qwen3-30B-A3B-Instruct-2507-FP8 — причинная языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-версия модели Qwen3-30B-A3B-Instruct-2507, предназначенная для генерации текста в режиме без скрытого рассуждения и без блоков <think></think>. Модель ориентирована на следование инструкциям, логическое рассуждение, понимание текста, математику, естественные науки, программирование, использование инструментов, открытые и субъективные текстовые задачи, а также работу с длинным контекстом и несколькими языками. Она поддерживает контекст длиной до 262 144 токенов. Архитектура — Mixture of Experts: 30,5 млрд параметров всего, из них 3,3 млрд активируются на запрос; модель содержит 48 слоёв, 128 экспертов и активирует 8 экспертов, использует GQA с 32 головами Q и 4 головами KV. К сильным сторонам относятся улучшенные instruction following, качество генерации, математические и кодовые способности, расширенное покрытие редких знаний на разных языках и повышенное качество работы с длинным контекстом. Ограничение модели — поддержка только нерassуждающего режима, поэтому она не предназначена для генерации явных цепочек рассуждений в формате <think></think>. Для использования рекомендуются актуальные версии transformers, а для развёртывания — SGLang или vLLM. Модель распространяется по лицензии Apache-2.0.

Granite-3.2-8B-Instruct-Preview — языковая модель IBM Granite Team, дообученная на основе ibm-granite/granite-3.1-8b-instruct для улучшенного пошагового рассуждения. Это плотная авторегрессионная модель на 8,2 млрд параметров с контекстом до 131 072 токенов; режим рассуждения можно включать по необходимости. Модель предназначена для ответов на общие инструкции и создания диалоговых помощников, в том числе для бизнес-сценариев. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи с кодом и вызов функций, а также работу с длинными документами и стенограммами встреч. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Модель выпущена в формате safetensors и распространяется по лицензии Apache 2.0. Это предварительный релиз; унаследованные от Granite-3.1 ограничения и этические соображения сохраняются.

Qwen2.5-7B-Instruct-GPTQ-Int4 — квантизированная 4-битная instruction-tuned языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для диалоговых приложений, генерации текста, следования инструкциям, работы со структурированными данными и JSON, а также задач программирования и математики. Она поддерживает более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, японский, корейский и арабский. Модель является causal language model на архитектуре Transformer с RoPE, SwiGLU, RMSNorm и смещениями в QKV внимания. Она содержит 7,61 млрд параметров, 28 слоёв и использует GQA с 28 головами Q и 4 головами KV. Заявлена длина контекста до 131 072 токенов и генерация до 8192 токенов, однако исходная конфигурация репозитория рассчитана на 32 768 токенов; для более длинных входов требуется включение YaRN, что может снижать производительность на коротких текстах. Квантизация GPTQ Int4 уменьшает требования к памяти и делает модель более подходящей для локального или эффективного GPU-развёртывания, но может влиять на качество по сравнению с исходной версией в формате bfloat16. Для использования рекомендуется актуальная версия библиотеки Transformers; для длинного контекста рекомендуется vLLM. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B — мультимодальная модель семейства Qwen от Qwen, представленная в репозитории RedHatAI. Это плотная причинная языковая модель с визуальным энкодером на 27 млрд параметров, построенная на архитектурной основе Qwen3.5 и дообученная после предварительного обучения. Веса доступны в формате Transformers и совместимы с Transformers, vLLM и SGLang; лицензия — Apache-2.0. Модель принимает текст, изображения и видео и предназначена для диалога, анализа документов и диаграмм, программирования, исследовательской и профессиональной работы, а также многошаговых агентных сценариев. Режим рассуждений включён по умолчанию, его можно отключить, а глубину рассуждений — настраивать. Нативный контекст составляет 262 144 токена и может расширяться до 1 000 000 токенов. К сильным сторонам относятся понимание изображений и видео, длинный контекст и возможности планирования и выполнения сложных задач. Карточка не приводит перечень поддерживаемых естественных языков; поэтому конкретные языки здесь не заявлены. Для практического развёртывания нужны совместимые инструменты инференса и соответствующие вычислительные ресурсы; результаты на бенчмарках не гарантируют качество в каждом сценарии.

Gemma 4 E4B-it — мультимодальная модель Google DeepMind с открытыми весами, настроенная для следования инструкциям и диалога. Это плотная модель семейства Gemma 4; репозиторий использует Transformers и формат safetensors. Для варианта E4B заявлено контекстное окно 128 тысяч токенов и поддержка более 35 языков в практическом использовании, при предобучении на более чем 140 языках. Модель принимает текст, изображения, видео и аудио, а выдаёт текст. Она предназначена для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, понимания видео, распознавания речи и перевода речи в текст. Поддерживает режим рассуждений и вызов инструментов; гибридное внимание сочетает локальные окна и глобальное внимание. Модель подходит для локального запуска на устройствах с ограниченными ресурсами, а также для чат-ботов, помощников и мультимодальных приложений. Возможности распознавания аудио заявлены для вариантов E2B и E4B. Как и другие генеративные модели, она может ошибаться в ответах и интерпретации входных данных. Лицензия — Apache 2.0.

Granite-3.1-2B-Instruct — языковая модель IBM Granite Team для выполнения инструкций и создания диалоговых AI-ассистентов. Это дообученная на базе ibm-granite/granite-3.1-2b-base плотная decoder-only Transformer-модель с 2,5 млрд параметров и контекстом до 131 072 токенов. В архитектуре используются GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги; модель работает в библиотеке Transformers, веса доступны в формате safetensors. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом, вызова функций и диалога на нескольких языках. Длинный контекст подходит для анализа документов и стенограмм встреч. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; обучение инструкциям преимущественно англоязычное, поэтому результаты на других языках могут быть слабее. Модель разработана IBM и выпущена под лицензией Apache 2.0. Несмотря на меры по безопасности, она может выдавать неточные, предвзятые или небезопасные ответы; для конкретного применения рекомендуется проверка и настройка.

Granite-3.3-2B-Instruct — языковая модель IBM Granite Team с 2,5 млрд параметров, дообученная на базе ibm-granite/granite-3.3-2b-base для следования инструкциям и решения задач, требующих рассуждений. Это плотная авторегрессионная модель для генерации текста с контекстом до 131 072 токенов; поддерживает чат и интерфейс вызова инструментов. Модель предназначена для ассистентов и бизнес-приложений. Она подходит для ответов на вопросы, суммаризации длинных документов и встреч, классификации и извлечения текста, RAG, задач по математике и программированию, а также многоязычного диалога. README указывает поддержку английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. По данным разработчика, модель улучшена в рассуждениях, выполнении инструкций, математике и программировании; для структурирования ответа доступны специальные маркеры рассуждений и итогового ответа. Это генеративная языковая модель, поэтому результаты могут содержать ошибки; ограничения базовой Granite-3.3-2B-Base также применимы. Лицензия — Apache 2.0.

Карточка модели nttruong1007/qb-granite31-8b на Hugging Face совпадает с карточкой ibm-granite/granite-3.1-8b-instruct, поэтому описание составлено по ней. Granite-3.1-8B-Instruct — языковая модель IBM Granite Team для выполнения инструкций и создания диалоговых ассистентов. Это дообученная на базе Granite-3.1-8B-Base плотная авторегрессионная трансформерная модель на 8,2 млрд параметров; при обучении использовались supervised fine-tuning, выравнивание с помощью обучения с подкреплением и слияние моделей. Архитектура включает GQA, RoPE, SwiGLU и RMSNorm. Модель принимает текст и поддерживает контекст до 131 072 токенов. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова функций. Поддерживает диалоги на английском, немецком, испанском, французском, японском, португальском, арабском, чешском, итальянском, корейском, нидерландском и китайском языках. Лучше всего модель обучена следовать инструкциям на английском; качество на других языках может быть ниже. Она может выдавать неточные, предвзятые или небезопасные ответы. Лицензия — Apache 2.0.

Qwen3.5-122B-A10B-FP8 — мультимодальная модель семейства Qwen3.5, разработанная командой Qwen. Это постобученная версия с причинной языковой моделью и vision encoder, предназначенная для работы с текстом и изображениями, включая рассуждение, программирование, визуальное понимание и агентские сценарии. Модель содержит 122 млрд параметров, из которых 10 млрд активируются при обработке запроса. Она использует гибридную архитектуру Gated Delta Networks и разреженную Mixture-of-Experts с 256 экспертами, из которых активируются 8 маршрутизируемых и 1 общий эксперт. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Данная версия содержит fine-grained FP8-квантизированные веса с размером блока 128; производительность заявлена близкой к исходной модели. Сильными сторонами являются сочетание мультимодальности, большого контекста, разреженной архитектуры для более эффективного вывода и широкого языкового охвата. Ограничения, зависящие от конкретной задачи, аппаратной конфигурации и используемого программного стека, в README не раскрыты; FP8-формат также требует совместимой поддержки. Модель распространяется по лицензии Apache-2.0 и совместима с Hugging Face Transformers, vLLM, SGLang и KTransformers.

RedHatAI/gemma-4-31B-it — инструктивная мультимодальная модель семейства Gemma 4, разработанного Google DeepMind и опубликованного Red Hat AI. Это плотная модель на 31 млрд параметров на архитектуре Gemma4ForConditionalGeneration, дообученная на основе google/gemma-4-31B; она принимает текст и изображения и генерирует текст. Вариант 31B предназначен для диалога, рассуждений, генерации и исправления кода, анализа изображений и работы с длинными запросами; поддерживает вызов инструментов и контекст до 256 тыс. токенов. Модель подходит для визуальных вопросов и ответов, распознавания текста и извлечения сведений из документов и изображений, понимания графиков и интерфейсов, а также для суммаризации, общения и помощи с кодом. Семейство Gemma заявляет поддержку более 140 языков при предварительном обучении и более 35 языков в прикладном использовании; README не уточняет точный языковой охват именно этого чекпойнта. Вариант 31B не заявлен как поддерживающий аудио, в отличие от малых моделей семейства. Весовые файлы доступны в формате safetensors, библиотека — Transformers. Лицензия — Apache 2.0.

Granite-3.1-3B-A800M-Instruct — языковая модель IBM Granite Team для выполнения общих инструкций и создания диалоговых ассистентов. Это дообученная версия Granite-3.1-3B-A800M-Base: метаданные относят её к семейству Granite MoE, а README описывает decoder-only архитектуру с GQA, RoPE, SwiGLU и RMSNorm. В репозитории указано 352,3 млн параметров и контекст до 131 072 токенов. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова функций. Она поддерживает диалоги на английском, немецком, испанском, французском, японском, португальском, арабском, чешском, итальянском, корейском, нидерландском и китайском языках; также подходит для анализа длинных документов и записей встреч. README указывает, что обучение инструкциям преимущественно велось на английском, поэтому качество на других языках может быть ниже. Модель принимает текст и генерирует текст. Она выпущена под лицензией Apache 2.0. Ответы могут быть неточными, предвзятыми или небезопасными; для конкретных сценариев нужны проверка и настройка.

Gemma 4 12B IT QAT Q4_0 Unquantized — мультимодальная инструкционная модель семейства Gemma, разработанного Google DeepMind. Это чекпойнт на 12 млрд параметров, полученный из google/gemma-4-12B-it с применением Quantization-Aware Training; в данном репозитории опубликованы веса safetensors, извлечённые из QAT-конвейера в формате половинной точности, а не готовая к запуску квантизованная сборка. Модель предназначена для диалога, генерации и анализа текста, рассуждений, программирования, работы с изображениями, видео и аудио. Модель принимает текст и изображения, может анализировать видео по последовательности кадров; для варианта 12B также заявлена поддержка аудио, включая распознавание речи и перевод речи в текст. Она генерирует текст, поддерживает вызов функций и контекст до 256 тысяч токенов. Семейство рассчитано на многоязычные сценарии: карточка сообщает о поддержке более 35 языков и обучении на более чем 140 языках, но не перечисляет языки отдельно для этого чекпойнта. QAT-обучение призвано сохранить качество, близкое к bfloat16, при снижении требований к памяти в соответствующих квантованных вариантах. Этот репозиторий содержит именно неупакованные QAT-веса, поэтому для непосредственного запуска может потребоваться собственная компиляция или подходящая среда. Лицензия — Apache 2.0.

Gemma-4-26B-A4B-it-F32-GGUF — мультимодальная instruction-tuned модель, основанная на Gemma-4-26B-A4B-it от Google и представленная пользователем prithivMLmods в формате GGUF. Она предназначена для генерации и понимания текста и изображений, включая рассуждение, программирование, OCR и распознавание рукописного текста, разбор документов, анализ пользовательских интерфейсов и диаграмм, обнаружение объектов с указанием их расположения, агентские сценарии, function calling и работу со структурированными данными. Модель использует архитектуру Mixture-of-Experts с 26 млрд общих параметров и примерно 3,8–4 млрд активных параметров на один проход: задействуются 8 экспертов и 1 общий эксперт из 128. Указаны 30 слоёв, словарь размером 262 тысячи токенов, поддержка более 140 языков и контекст до 256 тысяч токенов со sliding window 1024 токена. Поддерживаются текстовые и графические входы с переменным соотношением сторон и разрешением; доступны настраиваемые режимы рассуждения. Модель ориентирована на запуск через llama.cpp и vLLM на GPU NVIDIA или AMD, а репозиторий содержит варианты BF16, F16, F32, Q8_0 и мультимодальные проекционные файлы. Сильными сторонами являются мультимодальность, большой контекст, широкий набор задач и сниженная вычислительная нагрузка по сравнению с плотными моделями сопоставимого качества благодаря MoE. Ограничения включают значительные требования к памяти: размер файла F32 составляет около 101 ГБ, BF16 и F16 — около 50,5 ГБ, а качество и потребление ресурсов зависят от выбранного варианта квантования. Модель распространяется по лицензии Apache 2.0.

nvidia/Gemma-4-31B-IT-NVFP4 — мультимодальная модель для генерации текста, разработанная Google DeepMind на базе Gemma 4 31B IT и квантизированная NVIDIA с помощью Model Optimizer. NVIDIA не является разработчиком исходной модели. Модель предназначена для чат-ботов и диалоговых систем, суммаризации, извлечения данных из изображений, рассуждений, программирования, мультимодального анализа, function calling, исследовательских и образовательных сценариев. Модель построена на архитектуре Transformer Gemma 4 и содержит около 30,7 млрд параметров при размере словаря 262 144 токена. Она принимает текст, изображения и видео, включая видео в форматах MP4 и WebM продолжительностью до 60 секунд с частотой один кадр в секунду, а генерирует текст. Поддерживаются переменные соотношения сторон и разрешения изображений, настраиваемые бюджеты визуальных токенов от 70 до 1120, контекст до 256 тысяч токенов и более 140 языков. Архитектура использует гибридное внимание с локальными sliding-window и глобальными слоями, едиными Keys и Values в глобальных слоях и Proportional RoPE для работы с длинным контекстом. NVFP4-квантизация весов и активаций рассчитана на инференс через vLLM на NVIDIA Blackwell и Linux. По приведённым результатам NVFP4 сохраняет близкие к BF16 показатели на GPQA Diamond, AIME 2025, MMLU Pro, LiveCodeBench и Scicode, однако точные характеристики зависят от оборудования и сценария использования. Модель версии 1.0 была квантизирована с помощью nvidia-modelopt 0.42.0; для калибровки использовался англоязычный датасет CNN/DailyMail. Указана лицензия Apache License 2.0 с условиями Gemma. Для запуска заявлена интеграция с vLLM и тестирование на NVIDIA Hopper H100.

Карточка модели manojbillionaire123/gemma-4-E2B-it на Hugging Face совпадает с карточкой google/gemma-4-E2B-it, поэтому описание составлено по ней. Gemma 4 E2B IT — мультимодальная модель Google DeepMind, дообученная на основе google/gemma-4-E2B для выполнения инструкций. Она принимает текст, изображения и аудио, а выдаёт текст; подходит для диалогов, рассуждений, написания и исправления кода, распознавания речи и анализа визуального содержимого, включая документы, диаграммы и кадры видео. Модель использует плотную архитектуру Gemma 4 и рассчитана на локальное развёртывание, в том числе на устройствах с ограниченными ресурсами. Для малых моделей семейства заявлено контекстное окно до 128 тысяч токенов; Gemma 4 поддерживает множество языков. Модель поддерживает вызов инструментов и режим рассуждений. Google DeepMind указывает сценарии использования для создания контента, диалоговых помощников, суммаризации, извлечения сведений из изображений и работы с аудио. Репозиторий содержит веса Safetensors, модель использует библиотеку Transformers и распространяется по лицензии Apache 2.0. Качество ответов может зависеть от языка, сложности задачи и входных данных; описание не приводит отдельных оценок для этой версии.

Granite-3.2-8B-Instruct-GGUF — это GGUF-конверсия модели Granite-3.2-8B-Instruct, разработанная командой Granite в IBM. Модель содержит 8 миллиардов параметров, создана на основе Granite-3.1-8B-Instruct и дообучена с использованием открытых наборов данных с разрешительными лицензиями и синтетических данных для задач рассуждения. Доступна в различных вариантах квантования. Модель предназначена для выполнения общих инструкций и интеграции в AI-ассистентов, включая бизнес-приложения. Она поддерживает рассуждение с управляемым включением этой возможности только при необходимости, суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation (RAG), задачи, связанные с кодом, function calling, многоязычный диалог и работу с длинным контекстом, например суммаризацию документов и встреч или ответы на вопросы по большим документам. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; дообучение возможно и для других языков. К сильным сторонам относятся сочетание возможностей рассуждения, управляемость их применения, поддержка длинного контекста, многоязычность и широкий набор прикладных сценариев. README не содержит точного размера контекстного окна, сведений о модальностях помимо текстовой генерации, конкретных характеристик квантованных вариантов или подробностей об ограничениях качества. Модель распространяется по лицензии Apache 2.0.

Granite-4.0-H-Micro — компактная инструктивная языковая модель, опубликованная Unsloth и разработанная командой Granite компании IBM. В карточке указано 3 млрд параметров, а в метаданных репозитория — 2,6 млрд; модель основана на ibm-granite/granite-4.0-h-micro и дообучена на открытых инструктивных и синтетических данных с применением supervised fine-tuning, выравнивания с подкреплением и объединения моделей. Используется архитектура decoder-only с компонентами GQA, Mamba2, SwiGLU и RMSNorm; формат весов — Safetensors, библиотека — Transformers, контекст — до 131 072 токенов. Модель предназначена для диалоговых ассистентов и бизнес-приложений. Она следует инструкциям, поддерживает вызов инструментов и подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом, заполнения пропусков в коде и многоязычного диалога. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Лицензия — Apache 2.0. Качество на многоязычных задачах может уступать английскому; модель также может выдавать неточные, предвзятые или небезопасные ответы, поэтому её следует проверять и настраивать под конкретный сценарий.

stelterlab/Mistral-Small-3.2-24B-Instruct-2506-FP8 — экспериментальная FP8 W8A8-квантизированная версия Mistral-Small-3.2-24B-Instruct-2506, разработанная stelterlab с использованием llm-compressor. Базовая модель создана Mistral AI. Формат FP8 предназначен для запуска модели с меньшими требованиями к памяти и вычислительным ресурсам при сохранении основных возможностей исходной модели. Модель рассчитана на выполнение инструкций, диалоговые сценарии, генерацию текста, решение задач STEM, программирование, работу с изображениями и вызов функций. Она поддерживает текстово-изобразительный ввод и заявлена для английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. По сравнению с версией 3.1 улучшены следование точным инструкциям, устойчивость к бесконечным повторениям и function calling; для сервинга рекомендуется vLLM. К ограничениям относятся экспериментальный статус FP8-квантизации и отсутствие в предоставленных данных сведений о точном размере контекста и детальной архитектуре. Качество может немного отличаться от полной версии модели, а по отдельным vision-бенчмаркам зафиксировано небольшое снижение результатов. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-f32-GGUF — мультимодальная причинная языковая модель с 9 млрд параметров, основанная на Qwen3.5-9B и разработанная командой Alibaba Qwen. Данная версия распространяется в формате GGUF и предназначена для локального и серверного инференса с использованием llama.cpp, vLLM или SGLang. Модель обрабатывает текст, изображения и видео и рассчитана на OCR, визуальные вопросы и ответы, анализ документов, программирование, математические задачи, многоязычное рассуждение и создание мультимодальных агентов. Архитектура включает интегрированный vision encoder, гибридную схему Gated DeltaNet и Gated Attention, 32 слоя, скрытую размерность 4096, словарь из 248 тысяч токенов для 201 языка и нативный контекст до 262 тысяч токенов с возможностью расширения свыше 1 млн с помощью YaRN. Для обработки визуальных данных используется DeepStack ViT, включая временную динамику видео. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, длинный контекст, поддержка большого числа языков и возможность запуска на одном RTX 4090: около 18 ГБ в BF16 или 5 ГБ в 4-битном представлении. Ограничения включают требования к значительным вычислительным и видеоресурсам для полноразмерных вариантов, а также зависимость мультимодального инференса от отдельного файла mmproj. В репозитории доступны варианты BF16, F16, F32 и Q8_0, а также соответствующие мультимодальные проекции. Лицензия — Apache 2.0.

Карточка модели Iniharith/gemma-4-E2B-it на Hugging Face совпадает с карточкой google/gemma-4-E2B-it, поэтому описание составлено по ней. Gemma 4 E2B IT — мультимодальная модель Google DeepMind, дообученная на основе google/gemma-4-E2B для выполнения инструкций. Она принимает текст, изображения и аудио, а выдаёт текст; подходит для диалогов, рассуждений, написания и исправления кода, распознавания речи и анализа визуального содержимого, включая документы, диаграммы и кадры видео. Модель использует плотную архитектуру Gemma 4 и рассчитана на локальное развёртывание, в том числе на устройствах с ограниченными ресурсами. Для малых моделей семейства заявлено контекстное окно до 128 тысяч токенов; Gemma 4 поддерживает множество языков. Модель поддерживает вызов инструментов и режим рассуждений. Google DeepMind указывает сценарии использования для создания контента, диалоговых помощников, суммаризации, извлечения сведений из изображений и работы с аудио. Репозиторий содержит веса Safetensors, модель использует библиотеку Transformers и распространяется по лицензии Apache 2.0. Качество ответов может зависеть от языка, сложности задачи и входных данных; описание не приводит отдельных оценок для этой версии.

Карточка модели Openintelligent123/gemma-4-E4B на Hugging Face совпадает с карточкой google/gemma-4-E4B, поэтому описание составлено по ней. Gemma 4 E4B — мультимодальная плотная модель семейства Gemma, разработанная Google DeepMind и представленная в виде весов с лицензией Apache 2.0. Она принимает текст, изображения и аудио и генерирует текст; аудиовозможности включают распознавание речи и перевод речи в текст. Модель рассчитана на запуск на мобильных устройствах и ноутбуках, а также на диалоговые сценарии, рассуждения, программирование и работу с инструментами. Архитектура реализует гибридное внимание: чередует локальные окна внимания с глобальным вниманием. Для E4B заявлено контекстное окно до 128 тысяч токенов. Модель понимает изображения, в том числе документы, графики и интерфейсы, а также аудио; семейство Gemma 4 поддерживает более 140 языков при обучении и более 35 языков при использовании. Карточка описывает семейство в целом, поэтому отдельные языковые возможности E4B могут зависеть от задачи и конфигурации.

Gemma 4 E4B IT QAT Unquantized — мультимодальная модель Google DeepMind с открытыми весами, полученная дообучением Gemma 4 E4B Instruct с применением обучения с учётом квантования (QAT). Репозиторий содержит веса safetensors в половинной точности, извлечённые из QAT-конвейера; эта версия предназначена для собственной компиляции и исследований. Лицензия — Apache 2.0. Модель принимает текст и изображения и генерирует текст. Семейство поддерживает контекст до 128 тысяч токенов для E4B и более 140 языков в обучающих данных; в README заявлена поддержка более 35 языков. Возможности включают диалог, рассуждения, программирование, распознавание речи, перевод речи в текст, понимание изображений и видео, OCR, разбор документов и вызов инструментов. Архитектура — плотная Gemma 4 для условной генерации. QAT ориентирован на снижение требований к памяти при сохранении качества, близкого к bfloat16, однако конкретный репозиторий содержит не готовую к обычному запуску квантованную сборку, а веса половинной точности для последующей компиляции. Аудио указано для E4B, но конкретный формат входов зависит от используемого конвейера.

Карточка модели OsGo/gemma-4-E4B-it-qat-q4_0-unquantized на Hugging Face совпадает с карточкой google/gemma-4-E4B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. Gemma 4 E4B IT QAT Unquantized — мультимодальная модель Google DeepMind с открытыми весами, полученная дообучением Gemma 4 E4B Instruct с применением обучения с учётом квантования (QAT). Репозиторий содержит веса safetensors в половинной точности, извлечённые из QAT-конвейера; эта версия предназначена для собственной компиляции и исследований. Лицензия — Apache 2.0. Модель принимает текст и изображения и генерирует текст. Семейство поддерживает контекст до 128 тысяч токенов для E4B и более 140 языков в обучающих данных; в README заявлена поддержка более 35 языков. Возможности включают диалог, рассуждения, программирование, распознавание речи, перевод речи в текст, понимание изображений и видео, OCR, разбор документов и вызов инструментов. Архитектура — плотная Gemma 4 для условной генерации. QAT ориентирован на снижение требований к памяти при сохранении качества, близкого к bfloat16, однако конкретный репозиторий содержит не готовую к обычному запуску квантованную сборку, а веса половинной точности для последующей компиляции. Аудио указано для E4B, но конкретный формат входов зависит от используемого конвейера.

Gemma 4 E4B IT QAT Unquantized — мультимодальная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E4B Instruct. Это вариант с весами половинной точности, извлечёнными из конвейера обучения с учётом квантования (QAT); он предназначен для последующей компиляции и исследовательской работы. Архитектура — плотная Gemma4ForConditionalGeneration, файлы представлены в safetensors. Модель принимает текст и изображения, а также аудио; генерирует текст. Она подходит для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и перевода речи в текст. Семейство поддерживает более 140 языков; для небольших вариантов, включая E4B, заявлено контекстное окно до 128 тысяч токенов. Поддерживаются вызов функций и режим рассуждений. Вариант QAT призван снизить требования к памяти при сохранении качества, близкого к bfloat16, но именно эта публикация содержит не готовый к развёртыванию квантованный формат, а веса для дальнейшей компиляции. Лицензия — Apache 2.0. Возможности аудио, языка и контекстное окно описаны для семейства; в карточке этой конкретной публикации отдельные параметры не уточнены.