II.1Анализ требований и архитектура ПО

Карточка модели ApocalypseParty/G4-31B-SFT-v5-2 на Hugging Face совпадает с карточкой ApocalypseParty/G4-31B-SFT-v6-2, поэтому описание составлено по ней. ApocalypseParty/G4-31B-SFT-v6-2 — дообученная версия мультимодальной Gemma 4 31B от Google DeepMind. Модель принимает текст и изображения и генерирует текст; её можно использовать для диалога, рассуждений, программирования и анализа визуальных данных, включая распознавание текста в документах, понимание диаграмм и интерфейсов. Поддерживаются вызовы инструментов и длинные контексты; для семейства Gemma 4 31B заявлено до 256K токенов. Gemma 4 обучена работать со многими языками, однако конкретные языки и настройки этого дообучения не описаны. Репозиторий содержит веса Safetensors и использует лицензию Apache 2.0. Карточка не приводит отдельных оценок качества или ограничений именно этой версии.

llmfan46 создал дообученную версию мультимодальной Gemma 4 26B A4B IT, ориентированную на диалоги с ослабленными ограничениями отказа. В метаданных указаны архитектура Gemma4, библиотека Transformers, формат safetensors и базовая модель google/gemma-4-26B-A4B-it. Карточка описывает гибридное чередование локального скользящего и глобального внимания; для базовой модели этого размера заявлен контекст до 256 тысяч токенов. Модель принимает текст и изображения и выдаёт текст. Она предназначена для общения, рассуждений, генерации и исправления кода, вызова инструментов, анализа изображений, распознавания текста на изображениях и разбора документов. Карточка также перечисляет понимание видео и аудио для семейства Gemma 4, но аудио относится только к вариантам E2B и E4B, поэтому не включено в возможности этой модели. Для семейства заявлена поддержка более 35 языков, однако конкретные языки этой версии не перечислены. Как и другие языковые модели, она может выдавать неверные факты, хуже справляться с неоднозначными запросами и отражать смещения обучающих данных. Маркировка uncensored указывает на ослабленные ограничения отказа, но карточка не объясняет точный объём изменений или их влияние на качество. Лицензия — Apache 2.0.

AlexAtomic/gemma4-e4b-it-GGUF — это квантизированная в формате GGUF версия Gemma 4 E4B-it, разработанная Google и самостоятельно квантизированная AlexAtomic для проекта Atomic Chat. Модель предназначена для локального и полностью офлайн-использования в чат-ботах, приложениях с агентными сценариями и задачах, требующих обработки текста, изображений и аудио с генерацией текстовых ответов. Поддерживаются нативный function calling и настраиваемый режим рассуждений, включаемый токеном <|think|>. Модель имеет 4,5 млрд эффективных параметров, или 8 млрд параметров с учётом эмбеддингов, использует Per-Layer Embeddings и состоит из 42 слоёв. Архитектура Dense сочетает локальное скользящее внимание с окном 512 и глобальное внимание с p-RoPE; размер контекста — 128K токенов, словарь — 262K. Поддерживаются более 35 языков, при этом предобучение проводилось на более чем 140 языках. Для мультимодальной работы в репозитории предусмотрен vision-проектор mmproj. Ключевое преимущество — сочетание мультимодальности, большого контекста, офлайн-запуска и экономичного размера, а importance matrix помогает сохранить качество при низкобитовой квантизации. Ограничения связаны с потерями качества у самых компактных вариантов, а для корректной работы требуется применять шаблон чата Gemma 4 через параметр --jinja; для изображений необходим соответствующий mmproj. Доступны варианты квантизации от Q2_K до Q8_0, рекомендуемый баланс размера и качества — Q4_K_M. Модель распространяется по лицензии Apache-2.0.

Granite-3.0-3B-A800M-Instruct — инструктивная языковая модель семейства Granite 3.0, разработанная командой Granite в IBM. Это дообученная на инструкционных данных модель IBM Granite-3.0-3B-A800M-Base с разреженной архитектурой Transformer Mixture of Experts и декодером, содержащая 352,3 млн параметров по метаданным. Модель принимает текст и генерирует текст; её контекстное окно составляет 4096 токенов. Модель предназначена для ответов на общие инструкции и создания диалоговых помощников, в том числе для бизнес-приложений. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи с кодом и вызов функций. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Диалоговый формат и интерфейс вызова инструментов подходят для построения ассистентов. Модель выпущена в октябре 2024 года и распространяется по лицензии Apache 2.0. По данным разработчика, качество на многоязычных задачах может уступать английскому; возможны неточные, предвзятые или небезопасные ответы. Для целевых сценариев рекомендуется проверка и настройка модели.

Granite-4.0-350M — компактная инструктивная языковая модель команды Granite компании IBM, дообученная на базе ibm-granite/granite-4.0-350m-base с помощью supervised fine-tuning, обучения с подкреплением и слияния моделей. Она использует архитектуру decoder-only dense Transformer; в метаданных указано 352,3 млн параметров и контекст до 32 768 токенов. Модель предназначена для диалогов, локального запуска на устройствах и дообучения под специализированные задачи с умеренными вычислительными ресурсами. Модель подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова инструментов. Она поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Лицензия — Apache 2.0. Качество на языках, кроме английского, может быть ниже; модель также может выдавать неточные, предвзятые или небезопасные ответы, поэтому перед применением в конкретной задаче её следует оценить и настроить.

Granite-4.1-30B-Base — базовая авторегрессионная языковая модель IBM Granite Team для генерации текста и широкого круга задач преобразования текста. Это плотный decoder-only Transformer с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами; модель содержит 28,9 млрд параметров и распространяется в формате safetensors для Transformers. Карточка описывает обучение с нуля примерно на 15 трлн токенов и расширение контекста до 512 тыс. токенов, тогда как метаданные репозитория указывают нативное контекстное окно 131 072 токена. Модель рассчитана на суммаризацию, классификацию и извлечение информации, ответы на вопросы, длинную генерацию и дополнение кода, включая Fill-in-the-Middle. Поддерживаемые языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Это базовая модель без выравнивания безопасности; для прикладных сценариев её можно дообучать под специализированные задачи. Лицензия Apache 2.0.

Карточка модели bernquant/Inkling на Hugging Face совпадает с карточкой thinkingmachines/Inkling, поэтому описание составлено по ней. Inkling — мультимодальная модель общего назначения от Thinking Machines. Это авторегрессионный трансформер с 66 слоями, архитектурой decoder-only и разреженным MoE-блоком: из 256 экспертов для каждого токена активируются 6, а ещё 2 общих эксперта участвуют всегда. Всего в модели 975 млрд параметров, активно используется 41 млрд. Поддерживаются форматы BF16 и NVFP4; веса опубликованы в Safetensors. Модель принимает текст, изображения и аудио, обрабатывает их в общем пространстве представлений и выдаёт текст. Она предназначена для диалогов, следования инструкциям, анализа изображений и аудио, программирования, агентных систем с использованием инструментов и RAG-приложений. Основной язык — английский; заявлены также общие многоязычные возможности. Для изображений рекомендуются размеры сторон от 40 до 4096 пикселей, для аудио — WAV с частотой 16 кГц и длительностью менее 20 минут. Модель доступна для интеграции, исследований и дообучения; лицензия — Apache-2.0. Возможны фактические ошибки, неточное следование инструкциям и ухудшение качества в длинных диалогах; качество может различаться между языками и предметными областями. Для важных решений требуется проверка человеком, а для публичных приложений README рекомендует дополнительные меры модерации.

NVIDIA-Nemotron-Nano-9B-v2-NVFP4 — квантованная модель NVIDIA Corporation для диалогов, следования инструкциям и задач с рассуждением. Это вариант NVIDIA-Nemotron-Nano-9B-v2 с NVFP4-квантизацией и восстановлением точности методом дистилляции с учетом квантования. Архитектура Nemotron-Hybrid объединяет слои Mamba-2, MLP и четыре слоя Attention; заявленный контекст — до 128K токенов. Модель принимает текст и генерирует текст. Режим рассуждений можно управлять системным или пользовательским маркером: генерация рассуждений обычно помогает на сложных запросах, а ответ без промежуточных рассуждений может быть менее точным. Модель поддерживает английский, немецкий, испанский, французский, итальянский и японский; README также заявляет поддержку китайского, корейского, португальского и русского, но не описывает её отдельно. Модель предназначена для чат-ботов, AI-агентов, RAG-систем, программирования и общих задач следования инструкциям. Для инференса рекомендуются NVIDIA GPU и поддерживаются Transformers, vLLM и TRT-LLM; в vLLM неверный тип кэша Mamba может снизить точность. В README указано, что модель готова к коммерческому использованию, однако точные условия лицензии в предоставленных данных не раскрыты.

AxionML/Qwen3.5-4B-NVFP4 — мультимодальная модель для работы с текстом и изображениями, разработанная AxionML на основе Qwen/Qwen3.5-4B. Модель предназначена для открытого использования, развёртывания и высокопроизводительного inference-сервинга, включая сценарии визуального понимания, рассуждений, программирования и агентских задач. Это causal language model с vision encoder и архитектурой, сочетающей Gated Delta Networks и разреженный Mixture-of-Experts. Модель содержит около 4 млрд параметров, 32 слоя, скрытую размерность 2560 и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Линейные слои используют NVFP4-квантизацию весов и активаций с помощью NVIDIA TensorRT Model Optimizer, что уменьшает размер хранения и потребление GPU-памяти примерно в четыре раза по сравнению с BF16. К сильным сторонам относятся сочетание мультимодальности, длинного контекста и сниженные требования к памяти, что делает модель подходящей для эффективного локального и серверного развёртывания на совместимом оборудовании. К ограничениям относятся потенциальная потеря качества из-за 4-битной квантизации и необходимость аппаратной и программной поддержки NVFP4, в частности соответствующих GPU и средств инференса. Модель распространяется по лицензии Apache 2.0 и разрешена для коммерческого и некоммерческого использования.

cosmicproc/Qwen3.5-4B-NVFP4 — это квантизированный вариант мультимодальной модели Qwen3.5-4B, разработанной командой Qwen. Модель представляет собой причинную языковую модель с vision-энкодером и предназначена для генерации и понимания текста, работы с изображениями, рассуждений, программирования, агентских сценариев и других задач, требующих совместной обработки текста и визуальной информации. Заявлена поддержка 201 языка и диалекта. Модель содержит около 4 млрд параметров, 32 слоя и скрытое измерение 2560. В архитектуре объединены Gated Delta Networks, Gated Attention и разреженная Mixture-of-Experts; используется раннее слияние мультимодальных токенов. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Вариант NVFP4 использует квантизацию весов и активаций основных линейных слоёв трансформера в формате W4A4 с помощью NVIDIA Model Optimizer, что снижает требования к памяти и может повысить производительность. Для полноценного W4A4-инференса требуется GPU NVIDIA Blackwell, включая RTX 50-й серии, RTX PRO 6000 Blackwell и B-series. На GPU поколений Ada, Hopper и Ampere модель может загружаться, но специализированные FP4-ядра активаций не будут использоваться, поэтому преимущество W4A4 по скорости не проявится. Модель совместима с Transformers, vLLM, SGLang и другими фреймворками. Лицензия — Apache 2.0.

cyankiwi/Qwen3.5-9B-AWQ-BF16-INT4 — производная версия Qwen3.5-9B, разработанной командой Qwen. Репозиторий содержит веса и конфигурационные файлы в формате Hugging Face Transformers; модель совместима с Transformers, vLLM, SGLang и KTransformers. По идентификатору предполагается квантованный вариант AWQ с представлением INT4, однако подробности о процедуре квантования в README не приведены. Это мультимодальная причинная языковая модель с vision encoder, предназначенная для обработки текста и изображений, рассуждений, программирования, визуального понимания и агентских сценариев. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Модель содержит около 9 млрд параметров, 32 слоя и имеет нативный контекст 262 144 токена с возможностью расширения до 1 010 000 токенов. К сильным сторонам относятся мультимодальность, большой контекст, высокая эффективность архитектуры и широкий языковой охват. Ограничения конкретной квантованной сборки, включая возможные потери качества, требования к памяти и совместимость с определёнными аппаратными конфигурациями, в README не описаны. Модель распространяется по лицензии Apache 2.0.

Qwen3-VL-235B-A22B-Instruct-FP8 — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия Qwen3-VL-235B-A22B-Instruct с мелкозернистой квантизацией и размером блока 128; заявлено, что её показатели почти идентичны исходной версии BF16. Модель предназначена для понимания и генерации текста по текстовым, визуальным и видеоданным. Модель подходит для анализа изображений и видео, OCR, распознавания объектов, пространственного рассуждения, STEM- и математических задач, визуального программирования, генерации Draw.io/HTML/CSS/JS по визуальным материалам, а также для взаимодействия с графическими интерфейсами и инструментами. Она поддерживает контекст длиной 256 тысяч токенов с возможностью расширения до 1 миллиона, обработку длительных видео с временной индексацией и OCR на 32 языках. Среди архитектурных особенностей указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. К сильным сторонам относятся развитое визуальное восприятие, мультимодальное рассуждение, анализ пространственных отношений, работа с длинными документами и видео, а также устойчивый OCR для изображений с низким качеством, наклоном и редкими символами. README не содержит детальных числовых результатов тестов, полного перечня поддерживаемых языков или требований к аппаратному обеспечению. На момент описания Transformers не поддерживает прямую загрузку этих весов; для развёртывания рекомендуются vLLM или SGLang. Модель распространяется по лицензии Apache 2.0.

unsloth/gemma-3-12b-it-qat-bnb-4bit — 12-миллиардная instruction-tuned модель семейства Gemma 3, разработанная Google DeepMind. Она создана на основе Google Gemma и использует Quantization Aware Training (QAT). Модель мультимодальная: принимает текст и изображения, а генерирует текст. Контрольные веса в данном репозитории указаны как соответствующие базовой модели google/gemma-3-12b-it-qat-q4_0-unquantized. Модель предназначена для генерации текста, ответов на вопросы, суммаризации документов, рассуждений, анализа изображений и извлечения визуальной информации. Она поддерживает более 140 языков и контекст до 128 000 токенов; максимальный объём генерируемого ответа составляет 8192 токена. Изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов каждое. Благодаря относительно небольшому размеру модель подходит для развёртывания на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Ключевое преимущество QAT — сохранение качества, близкого к bfloat16, при существенно меньших требованиях к памяти после квантования. При этом README уточняет, что размещённый checkpoint является неквантованным и его необходимо самостоятельно квантовать в формат Q4_0 подходящим инструментом. Модель распространяется по лицензии Gemma; для доступа к ней на Hugging Face требуется войти в аккаунт и принять условия использования Google.

MuXodious выпустил дообученную мультимодальную модель Gemma 4 E4B Instruct с применением Heretic v1.4.0 и методов abliteration, включая Self-Organizing Maps и Magnitude-Preserving Orthogonal Ablation. В README приведены результаты эксперимента по снижению отказов и KL-дивергенции относительно исходной модели. Основа — google/gemma-4-E4B-it-qat-q4_0-unquantized; архитектура — плотная Gemma4ForConditionalGeneration, библиотека Transformers, веса в формате Safetensors. Лицензия — Apache 2.0. Модель принимает текст и изображения и генерирует текст; семейство Gemma 4 E4B также поддерживает аудио. Она предназначена для диалога, рассуждений, анализа изображений и документов, распознавания речи, программирования и сценариев с вызовом инструментов. Для семейства в целом указаны контекст до 128K токенов у E4B и поддержка множества языков, но README не подтверждает, что все перечисленные возможности доступны именно этому чекпойнту после дообучения.

unsloth/gemma-4-E4B-it-unsloth-bnb-4bit — это 4-битная квантованная instruction-tuned версия мультимодальной модели Gemma 4 E4B. Базовую модель разработала Google DeepMind, а текущую оптимизированную сборку подготовила Unsloth с использованием квантования bitsandbytes в формате 4-bit. Модель предназначена для локального запуска и дообучения на совместимом оборудовании. Модель поддерживает обработку текста, изображений и аудио с генерацией текстовых ответов. Она рассчитана на задачи рассуждения, генерации текста, программирования, мультимодального анализа, вызова функций и агентских сценариев. Для E4B заявлены около 4,5 млрд эффективных параметров, 42 слоя, контекстное окно до 128K токенов и словарь размером 262K токенов. Семейство Gemma 4 поддерживает более 140 языков. Архитектура использует гибридное внимание с локальными скользящими окнами и глобальными слоями. Ключевые преимущества модели — мультимодальность, большое контекстное окно, поддержка режимов рассуждения, системных инструкций и нативного function calling, а также сниженные требования к памяти благодаря 4-битному представлению. Квантование может повлиять на точность по сравнению с полноразмерной версией, однако конкретные показатели такого влияния в README не приведены. Модель распространяется по лицензии Apache 2.0.

Granite-4.0-1B — компактная инструктивная языковая модель IBM Granite Team, дообученная на базе Granite-4.0-1B-Base. Это модель класса causal language model с архитектурой GraniteMoeHybrid; в карточке указано 1,6 млрд параметров и контекст до 131 072 токенов. Модель предназначена для диалогов и выполнения инструкций, включая суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи с кодом и вызов функций. Компактный размер подходит для локального запуска на устройствах и дообучения под специализированные задачи. Модель поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; обучающие данные преимущественно англоязычные. По README, модель разработана с использованием контролируемого дообучения, обучения с подкреплением и слияния моделей. Доступна по лицензии Apache 2.0. Возможности вызова инструментов описаны в карточке, но качество многоязычных ответов может уступать английскому; модель также может выдавать неточные, предвзятые или небезопасные ответы.

salamanderDixon/granite-4.1-3b-heretic — производная версия Granite-4.1-3B, созданная методом abliteration: в карточке приведены параметры удаления отказов и сравнение с исходной моделью IBM. Это плотный decoder-only трансформер семейства Granite с 3,4 млрд параметров, предназначенный для диалогов и генерации текста. Метаданные указывают контекст до 131 072 токенов и формат safetensors. Модель подходит для ответов на вопросы, суммаризации, извлечения и классификации текста, RAG, задач с кодом и диалоговых сценариев. Базовая Granite-4.1-3B поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки, а также работу с инструментами. В приведённом сравнении у этой версии 3 отказа из 100 против 88 у исходной модели; снижение отказов может сопровождаться ослаблением защитного поведения. Лицензия — Apache 2.0.

Ling-1T — базовая языковая модель серии Ling 2.0, разработанная командой InclusionAI. Это причинная MoE-модель с архитектурой BailingMoeV2: в README заявлены 1 трлн параметров всего и около 50 млрд активных параметров на токен, тогда как метаданные Hugging Face указывают 49,6 млрд параметров. Модель обучена более чем на 20 трлн токенов и предназначена для генерации текста, диалога, сложных рассуждений, программирования и работы с инструментами. Для репозитория указаны контекст 32 768 токенов и формат safetensors; в README для Ling-1T-base заявлена поддержка до 128 тыс. токенов, поэтому длина контекста может зависеть от варианта модели. Модель рассчитана на многоязычный текст и показывает заявленные разработчиками возможности в математике, логике, написании кода и создании интерфейсов. Архитектура MoE активирует лишь часть параметров для каждого токена; также описаны MTP-слои и обучение с использованием FP8. Модель принимает текст и генерирует текст; визуальные задачи в README относятся к визуальному рассуждению и генерации интерфейсного кода, но поддержка изображений в метаданных не указана. README отмечает ограничения в многоходовом взаимодействии, долговременной памяти и использовании инструментов, а также возможные отклонения от инструкций и путаницу ролей. Модель распространяется по лицензии MIT.

Карточка модели TreezzZ/opd-teacher-alfworld-7b на Hugging Face совпадает с карточкой Qwen/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.

Qwen2.5-1.5B-Instruct-AWQ — квантизированная 4-битная AWQ-версия инструкционно дообученной языковой модели Qwen2.5, разработанной командой Qwen. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, написания кода, решения математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель относится к каузальным языковым моделям и использует архитектуру на базе transformers с RoPE, SwiGLU, RMSNorm, смещениями в attention QKV и связанными эмбеддингами слов. Она содержит 1,54 млрд параметров, 28 слоёв и механизм GQA с 12 головами для Q и 2 для KV. Поддерживаются контекст до 32 768 токенов и генерация до 8192 токенов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся компактный размер, сниженные требования к памяти благодаря 4-битной квантизации, улучшенные возможности следования инструкциям, работы с длинными текстами, кодом, математикой и JSON. Ограничения включают возможную потерю качества относительно исходной версии в формате bfloat16 из-за квантизации; конкретные результаты тестов в README не приведены. Модель распространяется по лицензии Apache-2.0.

RadixArk/Qwen3.8-27B-NVFP4 — квантизированная производная модели Qwen3.8-27B, разработанной Qwen. Квантизация выполнена RadixArk с использованием NVIDIA Model Optimizer по смешанной схеме NVFP4 W4A4; RadixArk не обучала и не дообучала исходную модель. Модель предназначена для развертывания в системах AI-агентов, чат-ботах, RAG-системах и других приложениях искусственного интеллекта. Это плотная мультимодальная Transformer-модель с 27 млрд параметров. Она принимает текст, изображения и видео, а генерирует текст; заявленная нативная длина контекста — до 262 144 токенов. Для MLP-слоёв и lm_head используется динамическая NVFP4 W4A4-квантизация с размером группы 16, веса внимания представлены в FP8, а тензоры MTP и vision сохраняют исходную точность BF16. Модель ориентирована на запуск через SGLang в Linux на GPU NVIDIA Blackwell; данный checkpoint был создан и проверен на GB300. К преимуществам относятся готовая низкобитная конфигурация, поддержка мультимодального ввода, длинного контекста и сценариев работы с инструментами, а также заявленные результаты 97,27% на GSM8K и 73,81% на подмножестве Terminal-Bench 2.1. Эти оценки получены в текстовом режиме на конфигурации из четырёх GPU NVIDIA B300/GB300 и не гарантируют аналогичные результаты в других условиях. Модель может выдавать неточные, неполные, нерелевантные или нежелательные ответы, поэтому перед использованием необходимы проверка и защитные меры. Распространяется по Apache License 2.0; сведения о возможностях, обучении и ограничениях унаследованы от исходной модели Qwen3.8-27B.

cyankiwi/Qwen3.8-Flash-Next-AWQ-INT4 — квантованная версия Qwen3.8-Flash-Next, разработанной командой Qwen; репозиторий содержит веса и конфигурацию в формате Hugging Face Transformers. Модель предназначена для генерации и понимания текста, агентских сценариев, задач STEM, а также мультимодальных задач с изображениями благодаря архитектуре языковой модели с vision encoder. Она совместима с Transformers, vLLM, SGLang и TokenSpeed. Архитектура включает 125 млрд параметров, из которых активируется 6 млрд, а также 51 млрд параметров n-gram embedding и 4 млрд параметров MTP. Используются гибридное внимание с Gated DeltaNet и Qwen Sparse Attention, Gated Residual и n-gram embedding; модель содержит 48 слоёв и имеет скрытую размерность 2560. Ключевые заявленные особенности ориентированы на эффективную обработку длинного контекста и снижение вычислительных затрат. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Размер файлов модели указан как 188,29 ГБ. Преимуществами являются мультимодальность, поддержка нескольких языков, оптимизации для длинного контекста и возможность локального развёртывания в распространённых inference-системах. Ограничения связаны с экспериментальным статусом архитектуры, отсутствием в README точного размера контекстного окна для данного репозитория и потенциальными потерями качества, характерными для INT4 AWQ-квантизации. Лицензия указана как qwen-community-1.0; применяются условия, приведённые в файле LICENSE.

Qwen3-VL-32B-Thinking-FP8 — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия Qwen3-VL-32B-Thinking с мелкозернистым квантованием и размером блока 128; согласно описанию, её показатели почти идентичны исходной BF16-модели. Модель распространяется через Hugging Face и предназначена для обработки текста, изображений и видео. Модель ориентирована на визуальное понимание и рассуждение, OCR, анализ документов, STEM- и математические задачи, пространственное восприятие, понимание динамики видео, генерацию кода и взаимодействие с графическими интерфейсами и инструментами. Она поддерживает контекст длиной 256K токенов с возможностью расширения до 1M, а OCR заявлен для 32 языков, однако полный перечень языков не указан. К архитектурным особенностям относятся Interleaved-MRoPE для временных и пространственных представлений, DeepStack для объединения многоуровневых признаков ViT и выравнивание текста с временными метками для анализа видео. К сильным сторонам относятся развитое мультимодальное рассуждение, распознавание текста в сложных условиях, понимание пространственных отношений, длинных документов и продолжительных видеозаписей, а также возможности визуального агента. Ограничение состоит в том, что на момент публикации README библиотека Transformers не поддерживает прямую загрузку этих весов; для развёртывания рекомендуются vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.

NVIDIA DeepSeek-V4.1-Flash NVFP4 — квантизированная версия модели DeepSeek-V4.1-Flash, разработанной DeepSeek AI и подготовленной NVIDIA с использованием Model Optimizer. NVIDIA не является владельцем или разработчиком исходной модели. Модель предназначена для коммерческого и некоммерческого применения, включая AI-агентов, чат-ботов, RAG-системы и другие приложения на базе генеративного ИИ. Это авторегрессионная мультимодальная модель архитектуры Transformer с Mixture-of-Experts и архитектурой Causal Encoder-Decoder, использующая Compressed Sparse Attention 2. Общий размер backbone составляет 552 млрд параметров; во время prefill активируется 8 млрд, во время decode — 16 млрд, дополнительно используется 196 млрд параметров Engram conditional memory. Модель принимает текст и изображения RGB и генерирует текст. Поддерживается контекст до 1 млн токенов. Сведения о поддерживаемых языках в карточке не указаны. Ключевые преимущества — мультимодальность, поддержка сверхдлинного контекста и снижение требований к вычислениям благодаря квантизации NVFP4 W4A4 с размером группы 16. Модель оптимизирована для NVIDIA GPU, прежде всего архитектуры Blackwell, и протестирована на NVIDIA GB300 с использованием vLLM и SGLang. Ограничения включают зависимость от совместимого оборудования и программного окружения, а также необходимость дополнительного тестирования на данных конкретного сценария перед внедрением. Данные исходного обучения не раскрыты; квантизация выполнена с помощью nvidia-modelopt версии 0.47.0rc0. Лицензия — MIT.

Dolphin-2.9.3-Mistral-7B-32k-GGUF — это квантизированная версия языковой модели Dolphin-2.9.3-Mistral-7B-32k, созданной Cognitive Computations на базе Mistral-7B-v0.3 от Mistral AI. Репозиторий GGUF подготовлен и квантизирован bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста в диалоговом формате, выполнения инструкций, программирования, решения математических задач, function calling и агентских сценариев. Модель содержит около 7 млрд параметров, работает с текстовой модальностью и поддерживает контекст до 32 000 токенов. Для обучения или дообучения использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math, Locutusque/function-calling-chatml и Agent-FLAN. README не указывает полный перечень поддерживаемых языков, поэтому языковые возможности нельзя надежно уточнить. Главное преимущество репозитория — широкий выбор GGUF-квантизаций с разным компромиссом между качеством и потреблением памяти: от высококачественных Q8_0 и Q6_K до более компактных вариантов Q4, Q3 и IQ3. Более низкие уровни квантизации экономят память, но могут заметно снижать качество ответов; некоторые варианты отмечены как экспериментальные. Для работы требуется совместимый inference-движок, например llama.cpp. Лицензия — Apache-2.0.

gnani-evon-v3.3 — языковая модель Gnani.ai для диалога, следования инструкциям и рассуждений на английском и индийских языках. Это гибридная архитектура Mamba2-Transformer Nemotron Hybrid Mixture of Experts: 30 млрд параметров всего и около 3,5 млрд активных на токен. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и рассчитана на работу через Transformers, vLLM и SGLang. Модель предназначена для чатов и ассистентов, многоязычных RAG-систем с длинным контекстом, извлечения ответов из текста, агентных сценариев с вызовом инструментов, а также задач по коду и математике. Разработчик сообщает о дообучении на инструкциях и применении обучения с подкреплением; заявленный акцент — понимание и генерация на языках Индии. README предупреждает, что использование инструментов и многошаговые агентные возможности продолжают развиваться, а модель не рекомендуется для высокозначимых решений или юридических, медицинских и финансовых консультаций без оценки безопасности в целевой области. Лицензия — Apache-2.0.

cyankiwi/granite-4.1-3b-AWQ-INT4 — квантизированная версия Granite-4.1-3B, разработанная сообществом cyankiwi на основе базовой модели IBM Granite Team. Это инструкционная языковая модель примерно на 3 млрд параметров, дообученная IBM с применением supervised fine-tuning и reinforcement learning alignment для улучшения следования инструкциям, диалогов и вызова инструментов. Представленная сборка использует AWQ INT4-квантизацию и занимает около 2,33 ГБ. Модель предназначена для бизнес-приложений и AI-ассистентов, включая агентские сценарии с вызовом внешних функций и API. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, программирование, function calling, многоязычный диалог и Fill-In-the-Middle для автодополнения кода. В карточке указана поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков; исходная Granite-4.1-3B также заявлена как поддерживающая немецкий, португальский, чешский и итальянский. Сильные стороны модели — небольшой размер, сниженные требования к памяти благодаря INT4-квантизации, поддержка длинного контекста, многоязычность и ориентация на инструкции и использование инструментов. README не содержит точного размера контекстного окна, сведений о мультимодальности, подробных результатов тестирования или ограничений качества этой квантизированной сборки, поэтому её возможности следует оценивать на целевых задачах. Лицензия исходной модели и данной сборки указана как Apache 2.0.

furiosa-ai/Meta-Llama-3.1-8B-Instruct-FP8-dynamic — это инструкция-ориентированная языковая модель Meta Llama 3.1 с 8 млрд параметров, подготовленная для диалогов на естественном языке, выполнения инструкций и вызова инструментов. Модель представляет собой плотный авторегрессионный Transformer, работает с текстом на входе и выходе и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Квантованная версия FP8-dynamic опубликована RedHatAI на основе Meta Llama 3.1 8B Instruct, а данный репозиторий дополнительно содержит пакет Furiosa Executable Bundle для запуска на аппаратном обеспечении FuriosaAI RNGD через Furiosa-LLM. Линейные веса Transformer-блоков используют статическое квантование FP8, а активации динамически квантуются в FP8 для каждого токена во время инференса, без предварительной офлайн-калибровки. Модель поддерживает вызов функций через парсер llama3_json и рассчитана на параллелизм по 8 processing elements на одной карте RNGD. Основной сценарий использования — развёртывание текстового диалогового сервиса через OpenAI-совместимый API Furiosa-LLM; также заявлена совместимость с другими фреймворками, включая vLLM, SGLang и Transformers. Ограничения по размеру контекста в предоставленных данных не указаны. Модель распространяется по лицензии Llama 3.1 Community License.

unsloth/Qwen2.5-3B-Instruct-unsloth-bnb-4bit — это 4-битная квантизированная версия Qwen2.5-3B-Instruct, разработанная Unsloth на основе модели Qwen/Qwen2.5-3B-Instruct. Модель предназначена для диалогов, следования инструкциям, генерации текста, работы с кодом и математическими задачами, а также создания структурированных ответов, включая JSON. Модель относится к классу причинных языковых моделей и использует текстовую модальность. В семействе Qwen2.5 заявлена поддержка более 29 языков, включая английский, китайский, русский и другие. Для серии также заявлена работа с контекстом до 128K токенов и генерация до 8K токенов, однако конкретные параметры этой 3B-квантизированной версии в README подробно не указаны. Ключевая особенность сборки — формат Unsloth Dynamic 4-bit, предназначенный для снижения требований к памяти при сохранении лучшей точности по сравнению со стандартной 4-битной квантизацией. Модель подходит для локального запуска, чат-ботов, автоматизации текстовых задач, программирования, анализа данных и дообучения. К преимуществам относятся компактный размер, сниженное потребление памяти и возможности instruction-tuned модели. Ограничения связаны с меньшим размером по сравнению с крупными моделями и возможными потерями точности из-за квантизации; конкретные показатели качества в README не приведены. Указанная лицензия — Apache-2.0.

unsloth/Qwen3-VL-8B-Instruct-unsloth-bnb-4bit — это 4-битно квантованная версия мультимодальной vision-language модели Qwen3-VL-8B-Instruct, подготовленная Unsloth на базе Qwen/Qwen3-VL-8B-Instruct. Модель предназначена для обработки и генерации текста по текстовым, визуальным и видеоданным, а также для мультимодального рассуждения, анализа документов, OCR, понимания пространственных отношений и взаимодействия с графическими интерфейсами через визуального агента. Она также ориентирована на генерацию кода и разметки Draw.io, HTML, CSS и JavaScript по изображениям и видео. Модель использует плотную архитектуру размером 8B параметров и поддерживает контекст длиной 256K токенов с возможностью расширения до 1M. Среди заявленных компонентов — Interleaved-MRoPE для позиционного кодирования времени, ширины и высоты, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа событий в видео. Заявлена поддержка OCR на 32 языках, включая работу с размытыми, наклонёнными и низкоконтрастными изображениями, а также понимание длинных документов и продолжительных видеозаписей. К сильным сторонам относятся сочетание текстового и визуального понимания, развитое пространственное и временное рассуждение, обработка изображений и видео, а также сниженные требования к памяти благодаря формату unsloth-bnb-4bit. Ограничения включают возможную потерю точности из-за 4-битной квантизации и необходимость совместимого программного окружения для запуска мультимодальных сценариев; точный перечень поддерживаемых языков и требования к аппаратному обеспечению в представленном README не указаны. Модель распространяется по лицензии Apache-2.0.