III.4Клиентская поддержка и customer success

speechless-zephyr-code-functionary-7b — экспериментальная модель, разработанная uukuguy в рамках проекта Mixture-of-Multi-LoRAs. Она создана на основе Mistral-7B-v0.1 с объединением LoRA-модулей, извлечённых из HuggingFaceH4/zephyr-7b-beta, meetkai/functionary-small-v2.2 и uukuguy/speechless-code-mistral-7b-v1.0. Для автоматической сборки модулей используется router Mixture-of-Multi-LoRAs с безградиентным подбором коэффициентов, в том числе для ранее не встречавшихся задач. Модель предназначена для генерации текста, программирования, работы с функциями и плагинами, а также для универсальных задач, где требуется сочетание диалоговых, кодовых и инструментальных навыков. В README заявлена поддержка английского языка и использование через Transformers; также доступны варианты GGUF с 4-, 5- и 8-битным квантованием для CPU и GPU-инференса. Размер базовой модели — около 7 миллиардов параметров. Размер контекста и полный перечень поддерживаемых модальностей не указаны; по описанию модель относится к текстовым. К сильным сторонам относятся сочетание навыков генерации кода, вызова функций и общего диалога, а также возможность адаптивного комбинирования LoRA-модулей. В опубликованной оценке средний результат LM-Evaluation-Harness составляет 62,93; показатели включают 64,71 на MMLU, 43,82 на GSM8K и 83,88 на HellaSwag. Ограничения связаны с экспериментальным характером подхода, отсутствием подробных данных о контексте, поведении на других языках и практической надёжности вызова функций. Модель распространяется по лицензии Apache-2.0.

Карточка модели sureshnam9/Llama-4-Maverick-17B-128E-Instruct-FP8 на Hugging Face совпадает с карточкой meta-llama/Llama-4-Maverick-17B-128E-Instruct, поэтому описание составлено по ней. Llama 4 Maverick Instruct — мультимодальная модель Meta для диалогов и задач понимания изображений. Это авторегрессионная модель с архитектурой смеси экспертов (MoE) и ранним объединением модальностей; в варианте Maverick используются 17 млрд параметров и 128 экспертов. Модель предназначена для чат-ассистентов и визуальных задач: распознавания и анализа изображений, составления описаний и ответов на вопросы по изображению. Она поддерживает арабский, немецкий, английский, испанский, французский, хинди, индонезийский, итальянский, португальский, тайский, тагальский и вьетнамский языки. Проверено понимание до пяти входных изображений; для большего числа изображений требуется дополнительная проверка в конкретном приложении. Модель разработала Meta. Репозиторий содержит дообученную версию базовой Llama 4 Maverick, распространяемую в формате Safetensors. Использование регулируется пользовательской коммерческой лицензией Llama 4 Community License и Acceptable Use Policy.

Qwen3.5-28B — производная модель 0xSero на архитектуре Qwen3.5 MoE, созданная из Qwen/Qwen3.5-35B-A3B методом REAP (Router-weighted Expert Activation Pruning). Из 256 экспертов сохранены 205, то есть удалено около 20%; модель содержит 28 млрд параметров и распространяется в формате BF16. Лицензия — Apache-2.0. Модель предназначена для диалоговой генерации текста, рассуждений и задач программирования. В карточке приведены результаты на HumanEval, MMLU и WikiText-2; по сравнению с исходной моделью после pruning показатели на этих тестах снизились. Основное заявленное преимущество — меньший объём памяти: около 53 ГБ вместо 71 ГБ у исходной BF16-модели. Измерения пропускной способности показывают, что ускорение зависит от размера пакета и может отсутствовать.

tomaarsen/Qwen3-VL-Embedding-2B-vdr — модель Sentence Transformers, разработанная tomaarsen на основе Qwen/Qwen3-VL-Embedding-2B и дообученная для визуального поиска по документам. Она сопоставляет текстовые запросы со скриншотами страниц PDF, кодируя их в плотные векторы для поиска наиболее релевантных документов. Модель принимает текст, изображения и видео; обучена на 10 000 примерах англоязычного набора llamaindex-vdr-en-train-preprocessed, созданного на основе датасета Visual Document Retrieval Goes Multilingual. Контекст — до 262 144 токенов. По умолчанию выдаёт векторы размерности 1024; размерность можно настроить от 64 до 2048. Для сходства используется косинусная мера. В описанной автором оценке модель показала NDCG@10 0,947 на наборе из 300 запросов и 1500 скриншотов документов и превзошла исходную модель на этой задаче. Настройка Matryoshka позволяет уменьшать размер вектора с небольшим снижением качества в рамках приведённой оценки. Модель распространяется по лицензии Apache-2.0.

unsloth/Llama-3.1-Nemotron-Nano-8B-v1-GGUF — GGUF-версия модели Llama-3.1-Nemotron-Nano-8B-v1, разработанной NVIDIA и подготовленной Unsloth. Это языковая reasoning-модель на базе Meta Llama 3.1 8B Instruct, предназначенная для диалогов, следования инструкциям, генерации кода, математических и логических задач, RAG-систем, tool calling и AI-агентов. Модель рассчитана прежде всего на английский язык и языки программирования, также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель представляет собой плотный decoder-only Transformer с архитектурой Llama 3.1 и примерно 8 млрд параметров. Она поддерживает текстовый ввод и вывод, контекст до 131 072 токенов, а также режимы с рассуждением и без него, переключаемые системным промптом. Постобучение включало supervised fine-tuning для математики, кода, рассуждений и tool calling, а также этапы reinforcement learning и оптимизации предпочтений. GGUF-формат и заявленная эффективность позволяют использовать модель локально, в том числе на одной RTX GPU; рекомендуемые аппаратные платформы исходной модели — NVIDIA Hopper и Ampere. Сильными сторонами являются сочетание качества рассуждений, чат-возможностей и вычислительной эффективности, а также поддержка длинного контекста и агентских сценариев. Ограничения включают преимущественную ориентацию на английский язык и языки программирования, зависимость поведения от корректной настройки режима рассуждения и устаревание части знаний: дата среза предобучающих данных Meta Llama 3.1 указана как 2023 год. Использование регулируется NVIDIA Open Model License; дополнительно указано соглашение Meta Llama 3.1 Community License Agreement. Модель заявлена как пригодная для коммерческого использования.

MiniCPM-V 4.5 int4 — мультимодальная vision-language модель, разработанная OpenBMB. Она предназначена для анализа одиночных и нескольких изображений, видео, документов и текстовых запросов, включая распознавание текста, разбор PDF, визуальные вопросы и ответы, а также понимание коротких и длинных видеоматериалов. Модель поддерживает более 30 языков и ориентирована в том числе на локальный запуск на мобильных устройствах и компьютерах. В основе лежат языковая модель Qwen3-8B и визуальный энкодер SigLIP2-400M; общий размер составляет около 8 млрд параметров. Архитектура включает unified 3D-Resampler для совместной обработки изображений и видео: до шести кадров 448×448 могут сжиматься в 64 видеотокена, что снижает вычислительную стоимость и позволяет анализировать видео с частотой до 10 кадров в секунду. Для изображений поддерживаются произвольные пропорции и разрешение до 1,8 млн пикселей. Модель также использует подходы LLaVA-UHD для работы с изображениями высокого разрешения и отличается сильными заявленными результатами в OCR, понимании документов и мультимодальном рассуждении. К сильным сторонам относятся высокая эффективность для модели такого размера, поддержка изображений, нескольких изображений и видео, развитое распознавание текста, режимы быстрого и глубокого рассуждения, а также варианты запуска через llama.cpp, Ollama, vLLM и SGLang. Представленная версия использует квантование int4, поэтому может требовать меньше памяти, но потенциально уступает полноразмерным вариантам по точности. README не указывает максимальную длину текстового контекста и не приводит подробный перечень ограничений; фактическая скорость и качество зависят от оборудования, формата инференса и сложности входных данных. Модель распространяется по лицензии Apache 2.0.

Mungert/cogito-v1-preview-llama-8B-GGUF — квантизированная GGUF-версия предварительной модели Cogito v1-preview, разработанной Deep Cogito. Однако представленная карточка описывает вариант на 70B параметров с базовой моделью Meta Llama 3.1 70B, поэтому соответствие заявленному идентификатору 8B не подтверждено. Модель предназначена для генерации текста по тексту и работает как instruction-tuned LLM. Cogito — гибридная reasoning-модель: она может отвечать напрямую в стандартном режиме или выполнять саморефлексию в режиме расширенного рассуждения. Модель оптимизирована для программирования, задач STEM, следования инструкциям, общей полезности и tool calling. Заявлена поддержка более 30 языков и контекстного окна до 128k токенов. Расширенное рассуждение включается специальной системной инструкцией или параметром enable_thinking в chat template. Поддерживаются одиночные, параллельные и комбинированные вызовы инструментов. К сильным сторонам относятся гибридный режим работы, заявленные улучшения многоязычности, программирования и вызова инструментов, а также обучение методом Iterated Distillation and Amplification. Ограничения карточки — отсутствие подробных числовых результатов тестов в текстовом виде и несоответствие между идентификатором 8B и описанием 70B. Модель распространяется по лицензии llama3.1; в карточке указано, что семейство выпущено под открытой лицензией с возможностью коммерческого использования.

Mistral Medium 3 — корпоративная языковая модель от Mistral AI. Она предназначена для рассуждений и мультимодальных задач при сниженных эксплуатационных затратах; описание заявляет производительность передового уровня и стоимость в восемь раз ниже.

ViFortune-AI разработала объединённую мультимодальную модель на основе языковой части Qwen3 и визуальной ветви Qwen2.5-VL-3B-Instruct. По метаданным репозитория, модель содержит 589,7 млн параметров, использует архитектуру Qwen2.5-VL и доступна в форматах PyTorch и safetensors. Она принимает изображения и текст, а также, согласно README, видео; может описывать визуальные сцены, распознавать текст и структуру документов, анализировать графики и скриншоты интерфейсов, а также формировать структурированные ответы, например данные таблиц и форм. Модель предназначена для диалоговых задач с визуальным содержимым и обработки длинного контекста. В README заявлена длина до 32 768 токенов с возможностью расширения через YaRN; метаданные каталога указывают контекст 128 000 токенов. README также описывает возможности визуального агента и использования инструментов, однако примеры и оценки качества не приведены. Основные ограничения: расширение контекста через YaRN может ухудшать пространственную и временную локализацию; обработка видео в README ограничена локальными файлами. Лицензия в предоставленных данных не указана.

Menlo/Jan-nano-128k-gguf — это квантованная GGUF-версия компактной языковой модели Jan-Nano-128k, разработанной Menlo Research; авторами указаны Alan Dao и Bach Vu Dinh. Модель предназначена для генерации текста и исследовательских сценариев, включая анализ научных статей и длинных документов, синтез информации из нескольких источников, работу с большими наборами данных и сложные многошаговые диалоги. Она также совместима с серверами Model Context Protocol (MCP) и поддерживает вызов инструментов при соответствующей настройке среды. Ключевая характеристика модели — нативное контекстное окно до 128 000 токенов, рассчитанное на сохранение производительности при работе с длинным контекстом. Указан английский язык; модель относится к нетерминологически «рассуждающим» моделям и не использует отдельный режим thinking. Архитектура, точный размер модели, тип и параметры квантования, а также перечень поддерживаемых модальностей в README не раскрыты, поэтому подтверждена только текстовая модальность. Сильными сторонами заявлены обработка больших документов, глубокий анализ и улучшение результатов на длинном контексте по сравнению с предыдущей версией Jan-Nano. Ограничения включают отсутствие подробных сведений об архитектуре, размере и конкретном варианте квантования, а также необходимость корректной настройки chat template и параметров масштабирования RoPE при некоторых способах развёртывания. Модель распространяется по лицензии Apache 2.0.

NVIDIA Nemotron 3 Nano Omni — мультимодальная большая языковая модель, разработанная NVIDIA в рамках семейства Nemotron. Эта версия распространяется в формате GGUF и предназначена для понимания видео, аудио, изображений и текста с применением в корпоративных системах: вопросно-ответных сервисах, суммаризации, транскрипции, анализе документов и интеллектуальной автоматизации графического интерфейса. Модель использует гибридную архитектуру Mamba2-Transformer с Mixture of Experts (MoE), включает языковую модель Nemotron 3 Nano LLM 30B A3B, визуальный энкодер CRADIO v4-H и речевой энкодер Parakeet. Общее число параметров — около 31 млрд (30B A3B). Поддерживаются видео MP4 длительностью до 2 минут, аудиофайлы WAV и MP3 длительностью до 1 часа, изображения JPEG и PNG, а также текст. Заявлена максимальная длина контекста до 256 тысяч токенов. Хотя в метаданных перечислены английский, французский, испанский, итальянский, немецкий, японский и китайский языки, в описании входных данных явно указана поддержка только английского языка. Модель подходит для анализа видеозаписей и речи, поиска и суммаризации медиаконтента, обработки контрактов и финансовых документов, OCR, GUI-автоматизации и агентных сценариев. Она поддерживает JSON-вывод, вызов инструментов, рассуждения и временные метки слов при транскрипции. Основные ограничения — ориентация на NVIDIA GPU и Linux, а также заявленная поддержка только аппаратуры NVIDIA и английского языка. Для работы указаны vLLM, NeMo, Megatron и NeMo-RL. Использование регулируется NVIDIA Open Model Agreement; в README также указана возможность коммерческого применения.

Dolphin 2.9.2 Qwen2 72B — диалоговая языковая модель, созданная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на основе Qwen2-72B. Модель с плотной архитектурой Qwen2 содержит 71,5 млрд параметров и предназначена для генерации текста в формате ChatML; базовая модель поддерживает контекст до 131 072 токенов, а дообучение проводилось на последовательностях длиной 8 000 токенов. Модель подходит для инструктивного диалога, написания и анализа кода, решения задач и работы с вызовами функций. В карточке также отмечены начальные агентные возможности. Модель описана разработчиками как uncensored и может с высокой готовностью выполнять запросы, в том числе небезопасные; перед использованием в сервисе рекомендуется добавить собственный слой выравнивания. Лицензия — Tongyi Qianwen; README разрешает коммерческое использование в соответствии с её условиями.

AaryanK/Qwen3.6-27B-GGUF — это квантизированная версия Qwen3.6-27B, разработанной командой Qwen. Модель предназначена для генерации текста, агентного программирования, работы с репозиториями и фронтенд-задачами, а также для сценариев, требующих вызова инструментов и обработки мультимодальных данных. Она поставляется в формате GGUF и рассчитана на локальный запуск с совместимыми средствами, включая llama.cpp. Модель содержит 27 млрд параметров и использует гибридную архитектуру Hybrid Gated DeltaNet + Gated Attention с 64 слоями и vision encoder. Она поддерживает текстовые и визуальные входы, включая изображения и видео, заявленные языковые возможности включают английский язык. Нативная длина контекста составляет 262 144 токена; также указана возможность расширения до 1 010 000 токенов. Модель поддерживает Thinking Mode, сохранение контекста рассуждений между сообщениями и вызов инструментов. К сильным сторонам относятся длинный контекст, мультимодальность, возможности агентного кодирования и сохранение рассуждений в итеративных рабочих процессах. Ограничения связаны с требованиями к совместимости: для гибридной архитектуры нужна актуальная версия llama.cpp, а объём памяти зависит от выбранного файла квантизации и длины контекста. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3.6-35B-A3B-FP8 — открытая FP8-квантованная версия модели Qwen3.6-35B-A3B, разработанной командой Qwen компании Alibaba Cloud и подготовленной Red Hat AI. Это авторегрессионная языковая модель с vision encoder, предназначенная для генерации текста, рассуждений, программирования, агентных сценариев и вызова инструментов. Модель использует архитектуру Mixture of Experts: 35 млрд параметров всего, около 3 млрд активируются при обработке запроса. Она содержит 40 слоёв, 256 экспертов, из которых выбираются 8 маршрутизируемых и 1 общий, а также сочетает Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Поддерживаются текстовые и визуальные входы, однако конкретный набор языков в README не указан. Сильными сторонами модели заявлены агентное программирование, работа с frontend-задачами, рассуждение на уровне репозитория, сохранение контекста рассуждений и вызов инструментов. Квантование выполнено в формате fine-grained FP8 с размером блока 128; заявлена производительность, близкая к исходной модели. Вариант может быть предпочтителен на оборудовании, где вычислительные ресурсы превышают пропускную способность памяти. Для работы с vLLM требуются параметры reasoning-parser qwen3 и включение prefix caching; совместимость также заявлена с Transformers, SGLang и KTransformers. README не приводит подробных ограничений, полного набора языков или характеристик работы с изображениями. Модель распространяется по лицензии Apache-2.0. Артефакты проверены с RHOAI 3.5, RHAIIS 3.5 и vLLM 0.24.0.

DeepSeek-V3.2 — языковая модель, разработанная DeepSeek AI и представленная как дообученная версия DeepSeek-V3.2-Exp-Base. Модель ориентирована на эффективное рассуждение, работу с агентными сценариями и взаимодействие с инструментами, включая режим «thinking with tools». Она распространяется через Transformers и использует обновлённый формат чата с поддержкой вызова инструментов и рассуждений. Ключевой особенностью модели является механизм DeepSeek Sparse Attention (DSA), предназначенный для снижения вычислительной сложности при сохранении качества, особенно в задачах с длинным контекстом. Для обучения применялись масштабируемое reinforcement learning и pipeline синтеза данных для агентных задач. README заявляет высокие результаты в математических и программных соревнованиях, однако точные размер модели, длина контекста, поддерживаемые языки и набор модальностей не указаны. Для интеграции требуется учитывать, что релиз не содержит Jinja-шаблон chat template: разработчикам предлагается использовать скрипты из каталога encoding для кодирования сообщений в OpenAI-совместимом формате и разбора ответов. Указанная функция разбора рассчитана на корректно сформированные строки и не исправляет ошибки формата. Модель распространяется по лицензии MIT.

GLM-4.7-Flash-NEO-CODE-Imatrix-MAX-GGUF — набор специализированных GGUF-квантов модели GLM-4.7-Flash, разработанный DavidAU на базе модели zai-org/GLM-4.7-Flash. Модель предназначена для генерации текста, рассуждений, программирования, диалогов и ролевых сценариев. Заявлена поддержка английского и китайского языков. Архитектура — mixture of experts (MoE) объёмом около 30B параметров, из которых при генерации активируются четыре эксперта, примерно 2B параметров. Модель может запускаться на GPU, CPU или их комбинации и поддерживает контекст до 200K токенов. В этой версии используются NEO- и Code-данные для imatrix-квантизации, а также 16-битный выходной тензор для повышения качества финальной генерации. Доступны специализированные варианты IQ4_NL, Q5_1, Q4_1 и Q8_0, а также обычные типы квантов. Сильными сторонами являются высокая эффективность MoE-архитектуры, большой контекст, ориентация на код и рассуждения, а также оптимизация квантов под актуальную версию llama.cpp. Ограничения связаны с зависимостью качества и скорости от выбранного кванта и конфигурации оборудования; для некоторых сценариев рекомендуется отключать Flash Attention из-за проблем со скоростью генерации и выгрузкой на CPU. Для длинных ответов автор рекомендует использовать контекст не менее 8–16K токенов и подбирать параметры сэмплирования. В метаданных указана лицензия MIT. Для подготовки квантов и их корректной работы требуется актуальная версия llama.cpp, указанная автором; более ранние кванты могут работать хуже.

HyperNova 60B 2602 — языковая модель, разработанная Multiverse Computing на основе open-weight модели OpenAI gpt-oss-120b. Она сжата с помощью проприетарной технологии CompactifAI, которая уменьшает количество параметров и требования к памяти при сохранении заявленных возможностей рассуждения. Модель instruction-tuned и предназначена для эффективного развёртывания через библиотеку Transformers. Модель рассчитана на рассуждение, генерацию кода, приложения с RAG, агентские сценарии и задачи с использованием инструментов. Она поддерживает нативный вызов функций, OpenAI-совместимые схемы инструментов, структурированные ответы и настраиваемый уровень рассуждения. Архитектура — decoder-only Transformer; общий объём составляет 60 млрд параметров против 117 млрд у базовой модели. Основной язык — английский, другие языки формально не оценивались. Мультимодальность и размер контекста в README не указаны. К сильным сторонам относятся уменьшенный объём памяти, гибкость развёртывания, поддержка tool calling и агентских рабочих процессов. Ограничения включают отсутствие формальной оценки других языков и неполные сведения о контекстном окне, а также необходимость использовать trust_remote_code при загрузке. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-35B-A3B-UDT-MTP-GGUF — это квантизированная в формате GGUF версия модели Qwen3.6-35B-A3B, подготовленная Atomic Chat на основе оригинальных весов Qwen. Модель предназначена для локального и полностью офлайн-использования в llama.cpp, Ollama, LM Studio, Jan и Atomic Chat, включая диалоговые сценарии, агентное программирование, работу с фронтенд-задачами и рассуждения на уровне репозиториев. Модель имеет 36 млрд параметров, 40 слоёв и архитектуру Mixture-of-Experts с 256 экспертами, из которых выбираются 8, а также 16 attention heads и 2 KV heads. Заявленный контекст составляет 262 144 токена. Поддерживаются текстовая и визуальная модальности; для обработки изображений в репозитории доступен vision-проектор mmproj-BF16.gguf. Квантизация выполнена с использованием importance matrix для разных уровней точности, что должно помогать сохранять качество при низкобитных форматах. К сильным сторонам относятся мультимодальность, большой контекст, MoE-архитектура, локальная работа без передачи данных во внешние сервисы и квантизация, откалиброванная importance matrix. Ограничения включают необходимость выбора подходящего GGUF-кванта, значительные требования к ресурсам и обязательное применение шаблона чата Qwen3.6 через параметр --jinja; для изображений требуется vision-проектор и совместимый интерфейс. Базовая модель выпущена под лицензией Apache 2.0, квантизация выполнена Atomic Chat.

sokada4/Qwen3.8-27B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия модели Qwen/Qwen3.8-27B, опубликованная пользователем sokada4. Квантизация выполнена с помощью GPTQModel 7.3.4 по схеме W4A16, с размером группы 128 и симметричным представлением. Модель предназначена для текстового вывода и рассчитана на локальное развертывание через vLLM, в том числе как OpenAI- или Anthropic-совместимый backend для Claude Code и Codex CLI. Это плотная языковая модель примерно на 27 млрд параметров с заявленным нативным контекстом до 262144 токенов. Квантизации подверглись только веса language_model; веса vision tower сохранены без изменений, однако данный checkpoint предназначен для text-only serving. Тензоры MTP, используемые для speculative decoding, также сохранены в формате bf16. Калибровка проводилась на англоязычных, китайских и японских текстах, а также на коде, поэтому модель ориентирована на многоязычные и программные сценарии, хотя точный языковой охват в README не указан. Ключевые преимущества — существенное снижение требований к памяти по сравнению с полноразмерной моделью, поддержка speculative decoding через MTP и совместимость с инструментальными вызовами в vLLM. Для комфортной работы с длинным контекстом и MTP рекомендуется конфигурация из двух GPU по 24 ГБ; на одной видеокарте 24 ГБ длину контекста придётся заметно уменьшить, а MTP использовать нецелесообразно. В README также отмечен повышенный риск некорректно сформированных tool calls по сравнению с облачными моделями, поэтому для автономных агентных сценариев рекомендуется проверка вызовов человеком. Модель распространяется по лицензии Apache-2.0.

Cogito v2.1 — инструктивная языковая модель Deep Cogito на архитектуре DeepSeek V3, дообученная на базе deepseek-ai/DeepSeek-V3-Base. В README модель названа вариантом MoE на 671 млрд параметров, однако метаданные репозитория указывают 37,6 млрд параметров и класс DeepseekV3ForCausalLM; поэтому фактический размер именно этого чекпойнта требует осторожной интерпретации. Модель принимает текст и генерирует текст, поддерживает диалог, вызов инструментов и гибридный режим рассуждений: может отвечать напрямую или сначала рассуждать и проверять ответ. Указаны контекст до 128 тысяч токенов в README и 163 840 токенов в метаданных. Модель предназначена для программирования, задач STEM, следования инструкциям, общих диалогов и сценариев с вызовом инструментов. В README заявлена поддержка более 30 языков и обучение с использованием итеративной дистилляции и усиления (IDA). Модель распространяется по лицензии MIT, допускающей коммерческое использование. Для запуска описанного в README варианта на 671 млрд параметров в BF16 требуется значительная вычислительная инфраструктура; там же рекомендуется FP8-версия для сервинга на восьми H200.

NuExtract 2.0 2B — мультимодальная модель компании NuMind для извлечения структурированных данных. Она дообучена на базе Qwen2-VL-2B-Instruct и принимает текст и изображения. Пользователь задаёт JSON-шаблон с названиями полей и типами значений; модель извлекает данные и возвращает результат в соответствии с заданной схемой. Поддерживаются строки, числа, даты, перечисления и массивы, а при отсутствии подходящих сведений модель может вернуть null или пустой массив. Модель рассчитана на извлечение информации из текстов и изображений, а также на автоматическую генерацию шаблонов из описания на естественном языке или существующей схемы. Она мультиязычная, имеет 1,5 млрд параметров и контекст до 32 768 токенов. Для задач извлечения рекомендуется температура генерации, близкая к нулю; примеры в контексте могут помочь при неоднозначных запросах или специальных требованиях к формату. Лицензия — MIT.

NuExtract 2.0 8B — мультимодальная модель компании NuMind для извлечения информации в структурированный формат. Она основана на Qwen2.5-VL и дообучена для работы с текстом и изображениями; содержит 7,1 млрд параметров и поддерживает контекст до 128 000 токенов. Для извлечения пользователь передаёт текст или изображение и JSON-шаблон с нужными полями и типами значений. Модель возвращает найденные данные в соответствии со схемой, поддерживая строки, числа, даты, перечисления и массивы. Она также может создавать шаблоны из текстового описания или преобразовывать схемы из других форматов. Для задач с неоднозначностью можно добавить примеры в контекст; разработчики рекомендуют использовать температуру, близкую к нулю. Модель предназначена для многоязычного извлечения информации из документов и других текстовых или визуальных источников. Её можно развёртывать через Transformers или vLLM. Лицензия репозитория — MIT.

Faro-Yi-9B — чат-модель wenbopan, созданная на основе Yi-9B-200K путём масштабного дообучения на инструкциях из набора Fusang-V1. Это плотная причинно-языковая модель семейства Llama с 8,6 млрд параметров; репозиторий содержит веса Safetensors, а для диалога используется шаблон ChatML. Модель предназначена для ответов на инструкции и различных текстовых задач на английском и китайском языках, включая работу с длинными документами и сложными запросами. В README заявлена длина контекста до 200 тысяч токенов. В метаданных Hugging Face указано значение 32 768 токенов; для практического использования длинного контекста README приводит настройки vLLM и отмечает влияние квантизации AWQ на качество. В опубликованных автором тестах Faro-Yi-9B превосходит Yi-9B-200K по большинству приведённых показателей, в том числе по ряду тестов понимания длинного контекста; результаты кодогенерации в LongBench ниже, чем у базовой модели. Лицензия — MIT.

Granite Vision 3.2 2B — компактная мультимодальная модель IBM для понимания изображений и текста. Она предназначена прежде всего для обработки визуальных документов в корпоративных сценариях: извлечения сведений из таблиц, диаграмм, инфографики и графиков, OCR и ответов на вопросы по содержимому документов; также поддерживает общие задачи понимания изображений. Модель дообучена на базе ibm-granite/granite-3.1-2b-instruct. Архитектура сочетает визуальный энкодер SigLIP, двухслойный MLP-коннектор и языковую модель Granite 3.1 2B Instruct; используется подход LLaVA с многослойными признаками энкодера и повышенным разрешением сетки AnyRes. Для текстовой части заявлен контекст 128 тысяч токенов. На вход принимает английские инструкции и изображения, на выходе формирует текстовые ответы. Выпущена под лицензией Apache 2.0. Модель компактна и по приведённым в карточке оценкам показывает сильные результаты на DocVQA и ChartQA среди сравниваемых моделей размером 1–4 млрд параметров. Она может ошибаться, галлюцинировать, выдавать предвзятые или небезопасные ответы; карточка рекомендует преимущественно документные задачи и отмечает повышенные риски для более общих задач с изображениями.

Virtuoso-Small-v2 — языковая модель на 14 млрд параметров от Arcee AI, основанная на архитектуре Qwen2.5-14B. Модель дообучена с дистилляцией логитов DeepSeek-V3 на большом текстовом корпусе, затем дополнительно выровнена с помощью DPO. Для совместимости при переносе знаний применялась обработка токенизатора; итоговая модель использует токенизатор Qwen. Метаданные указывают контекст до 131 072 токенов и формат Safetensors. Модель предназначена для диалоговой генерации текста, ответов на технические и научные вопросы, решения математических задач и генерации кода. В карточке также заявлен интерфейс вызова инструментов. README описывает дистилляцию знаний DeepSeek-V3 и улучшение следования инструкциям, однако количественные сравнительные оценки не приведены. Модель распространяется по лицензии Apache-2.0. Среди ограничений указаны возможные пробелы в знаниях о событиях после июня 2024 года и риск генерации вредного или предвзятого текста; заявленная длина контекста в README округлена до 128k токенов.

HauhauCS/Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP — мультимодальная версия Gemma 4, разработанная HauhauCS на основе Gemma 4 26B-A4B-it от Google DeepMind. Модель предназначена для агентного программирования, рассуждений, творческого письма, ролевого общения, диалогов и задач, где важны следование инструкциям и надежность. Вариант позиционируется как uncensored и оптимизирован для минимизации отказов при сохранении исходных возможностей базовой модели. Модель использует MoE-архитектуру размером 26B параметров: из 128 экспертов для каждого токена активны 8. Поддерживается контекст до 256K токенов, английский язык и обработка изображений через отдельный vision mmproj-компонент. Распространяется в формате GGUF с 4-битной квантизацией Q4_K_M; основной файл занимает около 16,8 ГБ, vision-компонент — 1,2 ГБ. В комплект входит MTP-драфтер для speculative decoding, который в тестах автора ускорял генерацию примерно на 35% без заявленного изменения качества. К сильным сторонам относятся большой контекст, поддержка изображений, высокая эффективность MoE и ориентация на программирование, рассуждения и творческие задачи. Работа MTP и заявленное ускорение проверялись автором в llama.cpp; модель совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-рантаймами. Ограничения включают зависимость vision-возможностей от отдельного mmproj-файла, возможные сбои Gemma 4 в LM Studio при multi-GPU tensor-split, а также то, что отсутствие отказов не гарантируется для всех пограничных запросов. Лицензия указана как Gemma. Для запуска рекомендуется использовать параметры temperature 0.6, top_k 64, top_p 0.9, min_p 0.05 и repeat_penalty 1.1.

GLM-5.3-Flash-GGUF — это GGUF-версия модели GLM-5.3-Flash, разработанной командой GLM-5 компании Z.ai; представленный репозиторий основан на модели zai-org/GLM-5.3-Flash и подготовлен с использованием методов Unsloth Dynamic 3.0. Модель предназначена для генерации текста, программирования, агентских сценариев и задач, требующих работы с длинным контекстом. Она поддерживает английский и китайский языки и относится к мультимодальным моделям, однако README не уточняет полный набор поддерживаемых модальностей и особенности их использования именно в данной GGUF-сборке. Архитектура сочетает разреженное и линейное внимание, а также использует Manifold-Constrained Hyper-Connections. Модель содержит 320 млрд параметров, из которых 18 млрд активируются при обработке запроса. Обучение проводилось на мультимодальном корпусе объёмом 30 трлн токенов. Заявлены повышенная эффективность, снижение стоимости обработки длинного контекста и сильные результаты в задачах программирования и использования инструментов; в README также указано контекстное окно до 300 000 токенов в отдельных оценках и до 1 млн токенов в NL2Repo. К ограничениям относятся высокие требования к ресурсам исходной модели, возможные потери качества из-за квантования и необходимость совместимого программного обеспечения: для запуска рекомендуется использовать llama.cpp с указанными изменениями или Unsloth Desktop. Конкретный формат квантования и требования к оперативной памяти в README не указаны. Модель распространяется по лицензии MIT.

LongCat-Flash-Lite-FP8 — языковая модель для генерации текста, разработанная командой Meituan LongCat. Это нерассуждающая модель на архитектуре Mixture-of-Experts (MoE) с 68,5 млрд параметров, из которых при обработке запроса активируется примерно 3 млрд. Модель поддерживает контекст длиной до 256 тысяч токенов благодаря методу YaRN и использует таблицу N-gram embedding объёмом более 30 млрд параметров. Модель предназначена для общего текстового использования, агентских сценариев с применением инструментов и задач программирования. Разработчики отмечают высокую эффективность в агентском взаимодействии и coding-задачах, а также улучшенную скорость и задержку инференса благодаря N-gram Cache и специализированным синхронизированным ядрам. В README не указаны точный список поддерживаемых языков и мультимодальные возможности; по назначению и pipeline_tag модель относится к текстовой генерации. Для запуска через Transformers рекомендуется использовать Python 3.10 или новее, PyTorch 2.6 или новее, Transformers 4.57.6 и Accelerate 1.10.0. Требуется как минимум две видеокарты с 80 ГБ VRAM каждая, например H100 или A100. К ограничениям относятся значительные требования к аппаратным ресурсам, а также отсутствие в представленных данных подробностей о качестве на конкретных языках, мультимодальности и иных аспектах эксплуатации. Модель распространяется по лицензии MIT.

Qwen3.8-27B-QAT-Q2_0 — квантизированная версия Qwen3.8-27B, разработанная Samuel Yuan и предназначенная для запуска через llama.cpp. Модель представлена в формате GGUF, использует 2-битное квантование Q2_0 с учётом квантования при обучении (QAT) и занимает 8,76 ГБ. Базовая модель разработана командой Qwen; точные архитектурные параметры, поддерживаемые языки и размер контекстного окна в README не указаны. Модель ориентирована прежде всего на генерацию текста, программирование, рассуждения и tool calling. Квантование специально оптимизировано для сохранения качества кода и reasoning, поэтому подходит для устройств с менее чем 12–16 ГБ видеопамяти, включая некоторые Mac. По приведённым измерениям, согласие с FP16-моделью составляет 94,7% для reasoning, 93,3% для кода и 78,7% для tool calling. Ограничением является некоторое ухудшение мультимодальных возможностей и извлечения необработанных фактов, включая результаты на Wikitext-2; мультимодальность также не описана подробно. Модель распространяется по лицензии Apache-2.0.

Qwen-SEA-LION-v4-4B-VL — мультимодальная модель с 4 млрд параметров, разработанная AI Products Pillar компании AI Singapore при финансировании Национального исследовательского фонда Сингапура. Она создана дообучением Qwen/Qwen3-VL-4B-Instruct на примерно 9 млн примеров инструкций для адаптации к языкам и культурному контексту Юго-Восточной Азии. Модель использует архитектуру Qwen3-VL и принимает изображения и текст, отвечая текстом; поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для визуальных вопросов и ответов, описания изображений, OCR, многоязычного общения и других задач на стыке текста и изображений. В первую очередь она адаптирована к бирманскому, индонезийскому, филиппинскому, малайскому, тамильскому, тайскому и вьетнамскому языкам; также обучалась на английском. Заявленное окно контекста — 256 тыс. токенов. Оценки охватывают общие языковые задачи, диалог, следование инструкциям, визуальные вопросы и описание изображений. Лицензия — MIT. Авторы отмечают, что модель не проходила выравнивание по безопасности и не проверялась на устойчивость к состязательным запросам; возможны галлюцинации и нерелевантные ответы, поэтому результаты следует проверять.