I.11Классификация, ранжирование и сопоставление

Athene-V2-Chat-72B — диалоговая языковая модель с открытыми весами, разработанная командой Nexusflow. Это дообученная с помощью RLHF модель Qwen2.5-72B-Instruct с плотной архитектурой Qwen2; в репозитории доступны веса в формате safetensors. Модель рассчитана на диалог, генерацию текстов, решение математических задач и программирование. Она использует шаблон чата Qwen2.5-72B-Instruct и поддерживает контекст до 32 768 токенов. В карточке разработчик сообщает о сильных результатах в чат-бенчмарках, математике, программировании, следовании инструкциям и многошаговом диалоге. Модель также имеет интерфейс вызова инструментов, однако для сложных агентных сценариев Nexusflow выделяет отдельную модель Athene-V2-Agent-72B. Лицензия — Nexusflow Research License; перед использованием следует проверить её условия для конкретного сценария.

Карточка модели Iambackup/diffusiongemma-26B-A4B-it на Hugging Face совпадает с карточкой google/diffusiongemma-26B-A4B-it, поэтому описание составлено по ней. DiffusionGemma — мультимодальная генеративная модель Google DeepMind на архитектуре Gemma 4 с 26B общих параметров и разреженной схемой Mixture-of-Experts, в которой активны 8 из 128 экспертов. Вместо последовательной генерации по одному токену модель использует дискретную диффузию и итеративно уточняет блоки текста; архитектура сочетает авторегрессионный энкодер с декодером, использующим двунаправленное внимание. Модель принимает текст, изображения и видео, а выдаёт текст. Она предназначена для диалогов, рассуждений и генерации текста, а также для анализа изображений и видеокадров. Поддерживает режим рассуждений, вызов инструментов и контекст до 256K токенов. Заявлена поддержка более 35 языков на уровне использования и предобучение более чем на 140 языках. Разработчики ориентировали её на быструю генерацию при малом размере пакета, в том числе на одном ускорителе. Модель может применяться для ответов по изображениям и видео, OCR, разбора документов, понимания графиков и интерфейсов, написания кода, суммаризации и разговорных приложений. Карточка сообщает о возможностях, но не приводит независимых оценок качества; скорость зависит от оборудования и сложности запроса. Распространяется по лицензии Apache 2.0.

AtomicChat/gemma-4-26B-A4B-it-assistant-GGUF — это GGUF-квантизированная версия модели Google Gemma 4 26B A4B It Assistant, подготовленная Atomic Chat на основе оригинальных весов google/gemma-4-26B-A4B-it-assistant. Модель предназначена для локального и полностью офлайн-использования в задачах генерации текста, диалоговых ассистентов, рассуждений, программирования, работы с математическими и визуальными задачами. Репозиторий содержит только текстовые варианты модели без vision projector. Модель имеет 25,2 млрд параметров, из которых 3,8 млрд активны на каждом токене, 30 слоёв и контекст до 256 тысяч токенов. Архитектура — decoder с гибридным вниманием: sliding-window attention с окном 1024 токена и глобальное внимание; используется 16 attention heads и 8 KV heads. Базовая модель поддерживает текст и изображения, однако данные GGUF рассчитаны только на текст. Доступны варианты квантизации Q4_K_S, Q4_K_M, Q5_K_M, Q8_0 и F16; Q4_K_M указан как оптимальный баланс размера, скорости и качества. К сильным сторонам относятся высокая эффективность MoE-подобной конфигурации с малым числом активных параметров, большой контекст, возможности рассуждения и хорошие заявленные результаты в тестах по знаниям, математике, программированию и мультимодальным задачам. Результаты бенчмарков относятся к базовой модели Google, а не к независимым измерениям этих квантизированных файлов; качество также зависит от выбранного уровня квантизации. Для корректной работы требуется применять чат-шаблон Gemma 4 Assistant, например через поддержку jinja. Модель распространяется по лицензии Apache 2.0.

unsloth/gemma-4-26B-A4B-it-qat-GGUF — инструкционная мультимодальная модель семейства Gemma 4, разработанная Google DeepMind и подготовленная Unsloth в формате GGUF. Она принимает текст и изображения и генерирует текст, поэтому подходит для диалоговых приложений, анализа визуального содержимого, генерации текста, программирования и задач рассуждения. Модель имеет размер 26B параметров с архитектурой Mixture-of-Experts и обозначением A4B. Это QAT-чекпойнт с квантизацией Q4_0, рассчитанный на снижение требований к памяти при сохранении качества, близкого к bfloat16. Семейство Gemma 4 поддерживает контекст до 256K токенов и более 140 языков; для данной версии README отдельно не уточняет полный перечень языков и поддерживаемые помимо текста и изображений модальности. В комплекте также доступен Multi-Token Prediction drafter для speculative decoding в llama.cpp, который может ускорять генерацию без изменения проверяемого моделью результата. Сильные стороны модели — мультимодальность, большой контекст, поддержка многоязычных сценариев, возможности рассуждения и совместимость GGUF с широким спектром инструментов локального запуска. Ограничения связаны с требованиями к вычислительным ресурсам, обусловленными размером 26B, а также с возможными особенностями качества и точности, возникающими при квантизации. Модель распространяется по лицензии Apache 2.0.

Это конверсия в формат GGUF модели Gemma 4 26B A4B IT, квантизированной NVIDIA в NVFP4. Базовую модель разработала Google DeepMind; в репозитории указаны 25,2 млрд общих и 3,8 млрд активных параметров. Модель построена на архитектуре Transformers с чередованием локального скользящего и глобального внимания, поддерживает контекст до 256 тысяч токенов и более 140 языков. Модель принимает текст и изображения, обрабатывает видео как последовательности кадров и генерирует текст. Она предназначена для диалога, рассуждений, программирования, агентных сценариев и мультимодального понимания. GGUF-файл рассчитан на запуск через llama.cpp и совместимые движки; в карточке также приведены результаты бенчмарков базового NVFP4-чекпойнта, близкие к показателям полноточной версии. Репозиторий распространяется по лицензии Apache-2.0. Это NVFP4-квантизированная модель, поэтому для запуска и качества вывода важны поддержка формата и совместимость используемого движка; README рекомендует сборку llama.cpp с CUDA для NVFP4.

AtomicChat/gemma-4-31B-it-assistant-GGUF — квантизированная в формат GGUF версия модели google/gemma-4-31B-it-assistant, подготовленная Atomic Chat на основе оригинальных весов Google. Модель предназначена для локальной и полностью офлайн-генерации текста, работы в чат-сценариях, решения задач рассуждения, программирования, анализа документов и других задач, поддерживаемых базовой моделью. Для запуска доступны варианты Q4_K_S, Q4_K_M, Q5_K_M, Q8_0 и F16; рекомендуется Q4_K_M как компромисс между размером, скоростью и качеством. Модель содержит 30,7 млрд параметров и 60 слоёв. Это плотный decoder-only трансформер с гибридным вниманием: sliding-window с окном 1024 токена и глобальным вниманием; используется 32 attention heads и 16 KV heads. Заявленная длина контекста — до 256 тысяч токенов, словарь содержит 262 тысячи токенов. Базовая модель поддерживает текст и изображения, однако представленный репозиторий содержит только текстовые GGUF-кванты без vision projector. Семейство Gemma 4 ориентировано на развитое рассуждение и поддерживает настраиваемые режимы размышления. Сильными сторонами являются большой контекст, высокая заявленная производительность базовой модели в задачах общего тестирования, математики, программирования и мультимодального анализа, а также возможность эффективного локального запуска благодаря квантизации и калибровке importance matrix. Ограничения связаны с потерями качества по сравнению с полной точностью, зависимостью требований к памяти от выбранного варианта квантизации и отсутствием обработки изображений в файлах этого репозитория. Приведённые результаты бенчмарков относятся к базовой модели Google, а не к независимым измерениям этих квантизированных файлов. Для корректного применения чат-шаблона Gemma 4 при запуске в llama.cpp требуется параметр --jinja. Модель распространяется по лицензии Apache 2.0.

unsloth/gemma-4-E2B — вариант Gemma 4 E2B от Unsloth, основанный на дообученной Google Gemma 4 E2B от Google DeepMind. Это плотная мультимодальная модель генерации текста по текстовым и визуальным входам; для семейства Gemma 4 заявлены гибридное внимание с локальными и глобальными слоями, режим пошагового рассуждения и контекст до 128 тысяч токенов для E2B. В репозитории указаны веса safetensors и лицензия Apache 2.0. Модель подходит для диалогов, генерации и исправления кода, суммаризации, ответов по изображениям, OCR, распознавания объектов, разбора документов, графиков и интерфейсов, а также агентных сценариев с вызовом инструментов. Семейство поддерживает более 35 языков; README также сообщает о возможностях аудио для E2B, но метаданные данного репозитория подтверждают только зрительную модальность и задачу image-text-to-text. Среди ограничений — возможные фактические ошибки, смещения и трудности с неоднозначностью, сложными открытыми задачами и тонкими языковыми нюансами.

alphakek/gemma-4-E4B-it-heretic-mythos-v1 — производная мультимодальная модель на базе Google Gemma 4 E4B Instruct, опубликованная пользователем alphakek. По карточке, Gemma 4 использует плотную архитектуру с чередованием локального скользящего и глобального внимания. Базовая модель рассчитана на контекст до 128K токенов; метаданные указывают формат safetensors и библиотеку Transformers. Модель предназначена для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и работы с инструментами. Вариант E4B поддерживает смешанные текстовые и визуальные запросы, видео через последовательности кадров, а также аудиовход для распознавания речи и перевода речи в текст. Gemma 4 описана как многоязычная модель с поддержкой более 35 языков, но какие именно языки и возможности сохранены в этой производной версии, карточка не уточняет. Название и теги указывают на попытку ослабить встроенные ограничения ответов (heretic, uncensored, decensored, abliterated), однако README не описывает конкретную процедуру изменений или их влияние на качество и безопасность. Как и базовая модель, она может допускать фактические ошибки, испытывать трудности с неоднозначными запросами и отражать смещения обучающих данных. Лицензия репозитория — Apache-2.0.

GLM-5.3-Flash-FP8 — это FP8-квантизированная версия мультимодальной модели GLM-5.3-Flash, разработанная командой GLM-5; базовая модель опубликована организацией zai-org. Модель предназначена для генерации текста, программирования, агентских сценариев, работы с инструментами и задач, требующих обработки текста и изображений. В карточке указаны поддержка английского и китайского языков, интеграция с Transformers и лицензия MIT. Модель имеет 320 млрд общих параметров, из которых 18 млрд активируются при обработке запроса. Она использует гибридную архитектуру со sparse attention и linear attention, рассчитанную на снижение стоимости обслуживания длинного контекста при сохранении точности, а также Manifold-Constrained Hyper-Connections. Обучение проводилось на мультимодальном корпусе объёмом 30 трлн токенов. В оценках использовались контексты до 300 000 токенов, а для отдельных тестов — до 1 млн токенов; это параметры конкретных оценочных конфигураций, а не обязательно гарантированный лимит модели. К сильным сторонам относятся высокая эффективность за счёт малого числа активных параметров, мультимодальность, возможности в программировании и агентских задачах, а также поддержка локального развёртывания через SGLang, vLLM, TokenSpeed и KTransformers. Ограничения именно FP8-версии, включая требования к аппаратному обеспечению, точность чисел и возможные отличия от базовой модели, в README не описаны.

Calandracas/gpt-oss-120b-Derestricted-GGUF — это GGUF-квантизированная версия модели gpt-oss-120b-Derestricted, созданная Arli AI на базе открытой весовой модели openai/gpt-oss-120b от OpenAI. Модель предназначена для генерации текста, задач общего назначения, сложного рассуждения и агентских сценариев, включая вызов функций, веб-браузинг, выполнение Python-кода и структурированный вывод. Архитектура исходной модели основана на Mixture-of-Experts: заявлено около 117 млрд параметров, из которых примерно 5,1 млрд активируются при обработке запроса. Модель поддерживает настраиваемый уровень рассуждения — low, medium и high — и обучена работать в формате ответов Harmony, без которого, согласно карточке, она функционирует некорректно. В README не указаны поддерживаемые языки и точный размер контекста. GGUF-формат ориентирован на локальный запуск совместимыми средствами. Ключевая особенность версии Derestricted — удаление значительной части отказов и ограничивающего поведения при сохранении возможностей рассуждения исходной модели. Для этого Arli AI применила метод Norm-Preserving Biprojected Abliteration, направленный на сохранение норм весов и снижение деградации логики по сравнению с обычной abliteration. При этом модель может иногда сохранять склонность к отказам, а снижение встроенных ограничений повышает риски небезопасного или нежелательного использования. Для производственного запуска также требуются значительные вычислительные ресурсы; исходная модель рассчитана на размещение в одной GPU с 80 ГБ памяти. Лицензия — Apache 2.0.

Hermes-2 Θ (Theta) 70B — языковая модель Nous Research, созданная совместно с Charles Goddard и Arcee AI. Это плотная авторегрессионная модель семейства Llama 3 с 69,5 млрд параметров, полученная слиянием Hermes 2 Pro и Llama 3 Instruct с последующим дообучением с помощью RLHF. Репозиторий содержит веса SafeTensors; лицензия — llama3. Модель предназначена для многошагового диалога в формате ChatML и поддерживает контекст до 32 768 токенов. Она обучена вызову функций, выдаче структурированных ответов по JSON-схеме и извлечению признаков из документов для RAG. В метаданных указан английский язык. Эти возможности помогают создавать чат-ассистентов, связывать модель с инструментами и получать ответы в заданном формате. В README приведены результаты нескольких бенчмарков, включая IFEval и MTBench, но они не гарантируют качество на конкретных запросах. Для вызова функций требуется внешняя логика, которая разбирает вызов, выполняет функцию и передаёт результат обратно модели. Для эксплуатации нужно учитывать значительный размер модели: в README также упоминается вариант инференса в 4-битном режиме.

Hermes 3 Llama 3.1 405B FP8 — языковая модель общего назначения от Nous Research, дообученная на основе Meta Llama 3.1 405B. Это плотная авторегрессионная модель семейства Llama с 403,7 млрд параметров и контекстом до 131 072 токенов. Данная версия квантизована в FP8 методом NeuralMagic и предназначена для запуска через vLLM; по данным карточки, для неё требуется около 430 ГБ видеопамяти. Модель предназначена для диалогового ассистента, следования инструкциям, рассуждений, ролевого общения, генерации кода и работы с длинным контекстом. Она поддерживает формат диалога ChatML, вызов функций и структурированный вывод JSON, позволяя интегрировать её в агентные сценарии и приложения с инструментами. Основной язык, подтверждённый карточкой, — английский. Модель выдаёт конкурентные результаты относительно инструкционных моделей Llama 3.1, но качество зависит от задачи и сценария. Это текстовая модель, поэтому она не принимает изображения или аудио. FP8-вариант требует значительных ресурсов для запуска и совместим с vLLM. Лицензия — Llama 3; применяются её условия использования.

nvidia/Kimi-K2.5-NVFP4 — квантизированная версия мультимодальной авторегрессионной языковой модели Kimi-K2.5, разработанной Moonshot AI. Квантизация выполнена NVIDIA с использованием Model Optimizer; NVIDIA подчёркивает, что не является владельцем или разработчиком базовой модели. Модель предназначена для разработчиков и исследователей, создающих приложения и системы на базе LLM. Модель построена на архитектуре Transformers с сетевой архитектурой DeepSeek V3 и заявленным числом параметров около 1 трлн. Она принимает текст, изображения и видео, генерируя текст, поддерживает контекст длиной до 256 тыс. токенов. Версия NVFP4 получена преобразованием и квантизацией весов и активаций из INT4 через BF16 в формат NVFP4; квантизации подвергнуты линейные операторы внутри MoE-блоков трансформера. Для запуска заявлена интеграция с vLLM на Linux и GPU NVIDIA Blackwell. К сильным сторонам относятся мультимодальность, очень длинный контекст, совместимость с аппаратным ускорением NVIDIA и сохранение близких к базовой модели результатов на указанных тестах: MMLU Pro, LiveCodeBench V6, SciCode и AIME 2025. Точные языки, размер обучающего набора и подробные характеристики тестовых данных в README не раскрыты. Для безопасного внедрения требуется дополнительное тестирование на данных конкретного сценария. Использование регулируется NVIDIA Open Model License с дополнительными условиями Modified MIT License базовой модели; модель заявлена для коммерческого и некоммерческого применения.

insraq/LFM2.5-2.6B-heretic — созданная с помощью Heretic v1.4.0 декензурированная версия языковой модели LiquidAI LFM2.5-2.6B. Это плотная гибридная текстовая модель семейства LFM2 для генерации текста и диалогов, содержащая 2,6 млрд параметров и рассчитанная на контекст до 128 000 токенов. По карточке исходная LFM2.5 обучена для локального и периферийного развёртывания, поддерживает многоязычный ввод и вывод, следование инструкциям и работу с инструментами. Модель подходит для агентных сценариев, вызова инструментов, извлечения данных, RAG и работы с длинным контекстом. В тесте из карточки версия Heretic дала 3 отказа из 100 против 95 из 100 у исходной модели; это указывает на снижение склонности к отказам, но не гарантирует корректность или безопасность ответов. Карточка не приводит отдельную лицензию этой производной модели; метаданные указывают лицензию «other».

Llama-3.3-70B-Instruct-FP8-dynamic — это 70-миллиардная инструкционно дообученная языковая модель Meta на архитектуре Llama 3.3, опубликованная RedHatAI в динамически квантизованном варианте FP8 и адаптированная FuriosaAI для запуска на аппаратуре FuriosaAI RNGD с использованием Furiosa-LLM. Модель предназначена для автодополнения текста, многоязычного диалога, выполнения инструкций и вызова инструментов через функции. Модель работает с текстом на входе и выходе, поддерживает английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий языки. Это плотный autoregressive Transformer; веса линейных слоёв квантизованы в FP8, а активации квантизуются динамически для каждого токена во время инференса. Поддерживается tool calling через парсер llama3_json. Для запуска на RNGD используется tensor parallelism с 32 PE, что соответствует четырём картам RNGD. Сильные стороны модели — сочетание большого размера, инструкционного обучения, многоязычности, поддержки вызова инструментов и сниженных требований к вычислительным ресурсам благодаря FP8-квантизации. Ограничения включают необходимость совместимой инфраструктуры для запуска оптимизированной версии: Furiosa-LLM и аппаратуры FuriosaAI RNGD; в README не указаны размер контекстного окна, результаты бенчмарков и подробные ограничения безопасности. Модель распространяется по лицензии Llama 3.3 Community License.

unsloth/Mistral-Small-24B-Instruct-2501-GGUF — квантизированная версия 24-миллиардной Mistral Small 3 (2501), разработанной командой Mistral AI и опубликованной Unsloth в формате GGUF. Это instruction-tuned модель на базе Mistral-Small-24B-Base-2501, предназначенная для диалоговых приложений, генерации текста, локального инференса, function calling, выдачи JSON и создания специализированных предметных ассистентов после дообучения. Модель поддерживает десятки языков, включая английский, французский, немецкий, испанский, итальянский, китайский, японский, корейский, португальский, нидерландский и польский. Заявлены сильные conversational и reasoning-возможности, поддержка системных промптов и контекстное окно 32K токенов. Используется токенизатор Tekken со словарём размером 131K; конкретная архитектура и параметры квантизации в предоставленном README не указаны. К сильным сторонам относятся высокая плотность знаний, низкая задержка, нативные возможности для агентных сценариев и возможность локального запуска после квантизации, в том числе на RTX 4090 или MacBook с 32 ГБ оперативной памяти. Ограничения включают отсутствие подробных данных о вариантах квантизации, требованиях к оборудованию и результатах независимых оценок; заявленные преимущества основаны на материалах разработчика. Модель распространяется по лицензии Apache 2.0, допускающей использование и модификацию в коммерческих и некоммерческих целях.

NVIDIA-Nemotron-3-Super-120B-A12B-FP8 — большая языковая модель, разработанная NVIDIA Corporation. Она предназначена для агентских рабочих процессов, рассуждений, диалогового взаимодействия, использования инструментов, RAG-сценариев и высоконагруженных задач, включая автоматизацию обработки IT-заявок. Модель поддерживает генерацию текста, text-to-text, image-to-text, reasoning и tool-calling. Модель имеет 120 млрд параметров, из которых 12 млрд активны при обработке запроса. Архитектура LatentMoE объединяет Mamba-2, Mixture of Experts и механизмы attention, а также использует Multi-Token Prediction. Максимальная длина контекста составляет до 1 млн токенов. Поддерживаются английский, французский, немецкий, итальянский, японский, испанский и китайский языки. Режим рассуждений можно включать или отключать через параметр chat template enable_thinking. К сильным сторонам относятся поддержка длинного контекста, агентских сценариев, вызова инструментов и масштабируемой обработки больших объёмов запросов. Для развёртывания требуется минимум 2 GPU H100 с 80 ГБ памяти каждый; README также не содержит подробных результатов оценки, поэтому качество в конкретных прикладных задачах следует проверять отдельно. Модель распространяется по лицензии NVIDIA Nemotron Open Model License.

Phi-3-Medium-4K-Instruct — плотная языковая модель семейства Phi-3, разработанная Microsoft. Модель содержит 13,8 млрд параметров и рассчитана на контекст до 4096 токенов. Она обучена на синтетических данных и отфильтрованных общедоступных веб-текстах с упором на качество и рассуждения, а затем дообучена с помощью supervised fine-tuning и direct preference optimization для следования инструкциям и повышения безопасности. Модель предназначена для диалоговых и генеративных приложений общего назначения, особенно для сред с ограниченными вычислительными ресурсами и требованиями к задержке, а также для задач программирования, математики, логики и понимания текста. Она работает с текстом и ориентирована прежде всего на английский язык; для других языков качество может быть ниже. Весы доступны в формате safetensors, лицензия — MIT. Как и другие языковые модели, Phi-3-Medium-4K-Instruct может выдавать недостоверные или устаревшие сведения, предвзятые либо оскорбительные ответы. Генерацию кода следует проверять: обучающие данные для кода преимущественно охватывают Python и распространённые библиотеки.

unsloth/Qwen2.5-14B-bnb-4bit — 4-битная версия базовой языковой модели Qwen2.5-14B, подготовленная Unsloth на основе Qwen/Qwen2.5-14B, разработанной командой Qwen. Модель предназначена для задач генерации и продолжения текста, а также для последующего дообучения, включая SFT, RLHF и continued pretraining. Для диалоговых сценариев базовую модель использовать не рекомендуется без дополнительного постобучения. Это авторегрессионная текстовая модель с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещениями в QKV-внимании. Она содержит 14,7 млрд параметров, из которых 13,1 млрд не относятся к эмбеддингам, включает 48 слоёв и использует GQA с 40 головами для Q и 8 для KV. Контекстное окно составляет 131 072 токена. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Модель ориентирована только на работу с текстом; сведения о других модальностях отсутствуют. К сильным сторонам относятся улучшенные по сравнению с Qwen2 возможности в программировании и математике, следование инструкциям, обработка структурированных данных и генерация структурированных ответов, включая JSON, а также поддержка длинного контекста. 4-битное представление снижает требования к памяти и удобно для локального запуска и дообучения, однако может приводить к потере точности по сравнению с полной версией. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3-30B-A3B-Instruct-2507-quantized.w8a8 — текстовая autoregressive-модель класса Qwen3ForCausalLM, разработанная Red Hat совместно с Neural Magic на базе Qwen/Qwen3-30B-A3B-Instruct-2507. Модель принимает текст и генерирует текст, ориентирована на рассуждения, выполнение инструкций на разных языках, перевод, function calling и создание специализированных решений посредством дообучения. Ключевая особенность модели — INT8-квантизация весов и активаций линейных операторов в блоках Transformer. Используются симметричная статическая поканальная квантизация весов и симметричная динамическая потокенная квантизация активаций с применением SmoothQuant и GPTQ через библиотеку llm-compressor. По данным README, это примерно вдвое снижает требования к GPU-памяти и размеру на диске, а также может примерно вдвое повысить пропускную способность матричных умножений. В документации по развертыванию указан максимальный размер контекста 262144 токена, однако другие характеристики архитектуры и языкового покрытия не приведены. Модель предназначена для эффективного инференса, в частности с использованием vLLM и OpenAI-совместимого API. К сильным сторонам относятся сочетание крупной базовой модели с INT8-компрессией, поддержка многоязычного следования инструкциям, рассуждений и интеграции с функциями. Ограничения включают возможные потери качества из-за квантизации и отсутствие в предоставленных данных подробных результатов оценивания, перечня поддерживаемых языков и спецификаций аппаратных требований. Модель распространяется по лицензии Apache-2.0; использование не должно нарушать применимое законодательство и нормативные требования.

ZuzeTt/Qwen3.5-4B-imatrix-GGUF — мультимодальная causal language model с vision encoder из семейства Qwen3.5, разработанная командой Qwen. Модель основана на Qwen/Qwen3.5-4B-Base и предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит около 4 млрд параметров, 32 слоя и использует гибридную архитектуру Gated DeltaNet и разреженной Mixture-of-Experts с механизмом Gated Attention. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Репозиторий содержит артефакты в формате GGUF, полученные с использованием llama.cpp; README также указывает совместимость исходной модели с Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, большое контекстное окно, компактный размер и архитектурная оптимизация для производительного инференса. Ограничения конкретной imatrix-квантизации, включая точность, требования к памяти и поддерживаемые варианты квантования, в README подробно не указаны. Лицензия — Apache 2.0.

DevinMox/Qwen3.5-9B-GGUF — мультимодальная причинная языковая модель с визуальным энкодером, разработанная командой Qwen и опубликованная на базе Qwen/Qwen3.5-9B. Модель предназначена для генерации и понимания текста, рассуждений, программирования, агентских сценариев и обработки визуальной информации. Она поддерживает 201 язык и диалект. Модель содержит около 9 млрд параметров, 32 слоя и использует гибридную архитектуру из Gated Delta Networks, Gated Attention и разреженного Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. В README также заявлены повышенная эффективность мультимодального обучения, высокая пропускная способность и сниженные задержки при инференсе. Данные о точных ограничениях качества, требованиях к оборудованию и характеристиках GGUF-квантизации не приведены. Модель распространяется по лицензии Apache-2.0. README указывает совместимость с Hugging Face Transformers, vLLM, SGLang и KTransformers, однако описывает репозиторий как содержащий веса и конфигурации в формате Transformers, поэтому конкретные параметры GGUF-сборки в предоставленных данных не уточнены.

abhishekchohan/Qwen3.8-27B-AWQ-INT4-FP8KV — квантизированная версия Qwen/Qwen3.8-27B, опубликованная abhishekchohan. Модель предназначена для диалогов, следования инструкциям, математических и научных задач, агентного программирования, многоязычных сценариев и работы с очень длинным контекстом. В карточке указано image-text-to-text позиционирование, однако подробности о поддерживаемых изображениях не приведены. Модель использует AWQ-квантизацию весов INT4 с защищёнными компонентами BF16 и FP8 E4M3 KV-кэшем с калиброванными послойными масштабами. Архитектура Qwen3.8-27B содержит 16 глобальных attention-слоёв, накапливающих KV-кэш, и 48 слоёв DeltaNet с рекуррентным состоянием. Поддерживается контекст до 262 144 токенов; заявлена возможность расширения до 524 288 токенов через YaRN, но результаты за пределами 262 144 токенов не проверялись. Заявленная оценка требований для полного контекста — около 33,5 ГБ VRAM, включая примерно 20 ГБ на веса и 8,5 ГБ на KV-кэш. Ключевое преимущество — примерно двукратное снижение памяти KV-кэша по сравнению с BF16 при сохранении качества: тесты показывают близкие результаты к AWQ-INT4 с BF16 KV, а retrieval-тест на контекстах 32 768, 131 072 и 262 144 токена дал 9/9 успешных результатов. Ограничения включают возможные небольшие колебания качества на отдельных бенчмарках, неподтверждённую работу за пределами 262 144 токенов и несовместимость MTP speculative decoding с FP8 KV в текущем JIT-пути FlashInfer на системах Blackwell. Для запуска рекомендуется vLLM с включённым FP8-кэшем; модель распространяется по лицензии Apache-2.0.

ddalcu/Qwen3.8-27B-MLX-Serve-4bit — 4-битная MLX-квантизированная версия мультимодальной модели Qwen3.8-27B, разработанная ddalcu на основе Qwen/Qwen3.8-27B. Модель предназначена для локального запуска через mlx-serve на компьютерах Mac с Apple Silicon и поддерживает работу с текстом, изображениями, инструментами и режимом рассуждений. Она может использоваться для диалога, генерации и анализа текста и кода, обработки изображений, вызова инструментов и интеграции с клиентами через OpenAI- и Anthropic-совместимые API. Модель имеет 27 млрд параметров, занимает около 18,2 ГБ на диске и рассчитана на размещение в памяти Mac с 32 ГБ. Нативное контекстное окно составляет 262 144 токена, однако фактический размер зависит от доступной памяти устройства. В сборку включена нативная MTP-голова для multi-token prediction, ускоряющая декодирование, особенно при генерации кода. Также поддерживаются vision-language сценарии, XML-формат вызова инструментов Qwen3.8 и управление глубиной рассуждений. Главное преимущество сборки — возможность запустить крупную мультимодальную модель локально на 32-гигабайтном Mac без облака и Python-окружения. Компромисс — повышенный шум 4-битной квантизации: заявленная оценка составляет 9,25% против 0,71% у 8-битной версии, поэтому 8-битная сборка предпочтительнее при наличии достаточного объёма памяти. Указанные скорости зависят от оборудования и режима: на M4 Max с 128 ГБ заявлены до 75,3 токена в секунду для кода и 39,7 токена в секунду для пояснительного текста при включённом MTP. Модель распространяется по лицензии Apache-2.0.

RadixArk/Qwen3.8-27B-NVFP4-BF16-LMHead — мультимодальная плотная модель семейства Qwen3.8-27B, разработанная Qwen и подвергнутая квантованию RadixArk с помощью NVIDIA Model Optimizer. Это производный чекпойнт без дополнительного обучения или дообучения RadixArk: почти все тензоры используют смешанную NVFP4 W4A4-квантизацию, веса внимания — FP8, а lm_head, MTP и визуальные тензоры сохранены в исходной точности BF16. Размер модели — 27 млрд параметров. Модель предназначена для диалоговых систем, AI-агентов, чат-ботов, RAG-систем и других приложений с поддержкой текста, изображений и видео. Она принимает текст и визуальные данные, генерирует текст и поддерживает нативный контекст до 262 144 токенов. Для запуска заявлена интеграция с SGLang на Linux и совместимость с GPU NVIDIA Blackwell; чекпойнт проверен на GB300. В README приведены результаты на GSM8K — 96,13% — и Terminal-Bench 2.1 — 69,4% в одном из протоколов. Ключевое преимущество модели — предварительное квантование, рассчитанное на эффективное развертывание, при сохранении lm_head в BF16; заявленные результаты близки к результатам варианта с квантованным lm_head. Ограничения включают зависимость от совместимой инфраструктуры NVIDIA Blackwell и SGLang, а также типичные для базовой модели риски неточных, неполных, нерелевантных или предвзятых ответов. Лицензия — Apache License 2.0; возможности, обучение, ограничения и условия использования унаследованы от исходной модели Qwen3.8-27B.

Карточка модели Mahesh111000/qwen3-8b-hanabi-rl-base-1to1-24k-step_145 на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Qwen3-VL-4B-Thinking-GGUF — это мультимодальная vision-language модель из серии Qwen, разработанная командой Qwen. Репозиторий содержит веса базовой модели Qwen3-VL-4B-Thinking в формате GGUF, разделённые на языковую модель и vision encoder. Модель предназначена для понимания и генерации текста по текстовым и визуальным данным, включая изображения и видео, а также для локального запуска на пользовательских устройствах. Модель поддерживает сценарии визуального анализа, OCR, пространственного рассуждения, STEM- и математические задачи, понимание документов и видео, генерацию кода и разметки по изображениям, а также взаимодействие с графическими интерфейсами и инструментами. Заявлены улучшенные визуальное восприятие и рассуждение, распознавание текста на 32 языках, работа с объектами, позициями, перекрытиями и временными событиями в видео. Для семейства Qwen3-VL указано нативное контекстное окно 256K токенов с возможностью расширения до 1M. Веса доступны для языковой модели в вариантах FP16, Q8_0 и Q4_K_M, а для vision encoder — в FP16 и Q8_0, что позволяет выбирать баланс качества, скорости и требований к памяти. Формат совместим с llama.cpp, Ollama и другими инструментами GGUF; заявлена поддержка CPU, NVIDIA GPU через CUDA, Apple Silicon через Metal и Intel GPU через SYCL. Для работы требуются совместимые инструменты и отдельный файл vision encoder, а выбор квантования может влиять на качество и производительность. Модель распространяется по лицензии Apache-2.0.

Yi-1.5-34B-Chat — диалоговая языковая модель от 01.AI, основанная на архитектуре Llama и содержащая 33,9 млрд параметров. Это чат-версия Yi-1.5: семейство непрерывно предобучали на высококачественном корпусе объёмом 500 млрд токенов, затем дообучили на 3 млн разнообразных примеров. Модель предназначена для диалога и следования инструкциям. Она подходит для генерации ответов, помощи с программированием и математикой, рассуждений, понимания языка и чтения текстов. Разработчики отмечают улучшения в коде, математике, рассуждениях и выполнении инструкций по сравнению с Yi. Для этой версии в метаданных указан контекст 4096 токенов; доступны веса в формате safetensors. Модель принимает и выдаёт текст. Карточка не приводит конкретного перечня поддерживаемых языков. Лицензия — Apache-2.0.

Azure99/Blossom-V7.1-9B-GGUF — открытая мультимодальная модель общего назначения семейства Blossom-V7.1, разработанная командой Azure99. Эта версия представлена в формате GGUF и основана на Qwen3.5-9B, поэтому ориентирована на локальный запуск на устройствах с ограниченными ресурсами, включая компактные GPU и мобильные устройства. Модель предназначена для повседневного диалога, работы с общими знаниями, математики и рассуждений, программирования, веб-разработки, визуализации данных и агентных сценариев с использованием инструментов. Она принимает текст и изображения, поддерживает два режима рассуждений — medium и max — и умеет рассуждать перед каждым вызовом инструмента. Заявлена поддержка английского и китайского языков. Максимальная длина контекста составляет 262 144 токена, при этом для наилучших результатов рекомендуется использовать до 131 072 токенов. К сильным сторонам относятся мультимодальное понимание изображений, расширенный контекст, поддержка инструментального использования и спекулятивного декодирования MTP в vLLM и llama.cpp. Ограничениями являются меньший размер и, вероятно, более низкие возможности по сравнению с вариантами Blossom на 27B и 35B-A3B, а также необходимость использовать встроенный специализированный chat template и сохранять сообщения с рассуждениями в многоходовых диалогах. Модель распространяется по лицензии Apache-2.0.

QuantFactory/Fireball-3.1-8B-ORPO-GGUF — квантизированная версия EpistemeAI/Fireball-3.1-8B-ORPO, созданная с помощью llama.cpp. В основе лежит Meta Llama 3.1 8B от Meta, дообученная методом ORPO, который объединяет supervised fine-tuning и выравнивание по предпочтениям в едином процессе. Разработчик и автор исходной версии — EpistemeAI; квантизацию также выполнила EpistemeAI. Модель предназначена для генерации текста, диалоговых ассистентов и других задач обработки естественного языка, включая работу с кодом. Это текстовая autoregressive Transformer-модель примерно на 8 млрд параметров с поддержкой Grouped-Query Attention. Заявлены мультиязычные текстовые входы и выходы, включая английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Максимальная длина контекста составляет 128 тысяч токенов, дата отсечения знаний — декабрь 2023 года. Квантизированный формат GGUF ориентирован на запуск через llama.cpp и может снизить требования к памяти и вычислительным ресурсам по сравнению с полноразмерными весами. Ограничения включают статичность знаний, возможные ошибки и ограничения качества после дообучения и квантизации, а также отсутствие поддержки изображений и других немультимодальных входов. В README указана лицензия Llama 3.1 Community License; при этом в разделе сведений о загруженной модели также упомянута Apache-2.0, поэтому условия распространения следует уточнить по актуальным файлам лицензии репозитория.