I.11Классификация, ранжирование и сопоставление

dealignai/Qwen3.8-27B-UNCENSORED-GGUF — это квантованная версия мультимодальной модели Qwen3.8-27B, разработанная Dealign.ai на базе Qwen. Модель распространяется в формате GGUF для llama.cpp и предназначена для генерации текста, программирования, многошагового рассуждения, анализа изображений и видео. Она поддерживает управляемый режим рассуждений с уровнями low, medium и xhigh, а также отключение рассуждений. Архитектура включает 64 слоя: 48 слоёв GatedDeltaNet с линейным вниманием и 16 слоёв полного внимания; размер скрытого представления — 5120, контекст — до 262 тысяч токенов. Модель поддерживает английский и китайский языки. В каждый вариант GGUF включены native Multi-Token-Prediction head для speculative decoding и vision projector, необходимый для обработки изображений и видео. Доступны варианты от 2- до 8-битного квантования объёмом примерно от 10,5 до 29 ГБ; рекомендован Q4_K_M. Сильные стороны модели — сочетание текстовых, визуальных и видео-возможностей, большой контекст, сохранение способностей к рассуждению и программированию, а также поддержка ускоренной генерации через MTP. Ограничения связаны с потерями качества при более агрессивном квантовании и высокими требованиями к памяти. Это CRACK-abliterated модель с удалёнными отказами и сниженными защитными ограничениями, поэтому она может выполнять запросы, отклоняемые стандартной моделью; авторы позиционируют её для исследований и разрешённого red teaming. Лицензия — Apache-2.0.

Это версия Qwen3-8B, подготовленная Geoff Munn в формате GGUF для запуска через llama.cpp и совместимые приложения. Модель содержит 8 млрд параметров и предназначена для генерации текста, диалогов, рассуждений, работы с кодом и многоязычных задач. В карточке описаны варианты GGUF-квантизации и результаты сравнения их размера, скорости и качества; для этой версии указаны форматы GGUF и GGUF F16. Модель подходит для локальных ассистентов, суммаризации документов, структурированной генерации и автономных RAG-систем. В README отмечены высокая эффективность некоторых вариантов с imatrix и компромиссы между точностью, скоростью и объёмом памяти. Заявления о производительности зависят от конкретного варианта квантизации и оборудования. Лицензия — Apache-2.0.

azampatti/Qwen3.8-Flash-Next-125B-A5B-INT4-AutoRound — гибридная квантованная версия Qwen3.8-Flash-Next, подготовленная автором azampatti на основе чекпойнтов Qwen и Intel. Модель предназначена для генерации текста, программного кода, математических ответов, работы с инструментами и длинным контекстом. Она поддерживает OpenAI-совместимую подачу через специализированную сборку vLLM и рассчитана прежде всего на запуск на одной системе DGX Spark с GB10 и 128 ГБ памяти. Модель использует архитектуру mixture-of-experts: всего 125 млрд параметров, из которых около 4,8 млрд активируются для каждого токена. Число выбираемых маршрутизатором экспертов сокращено с 10 до 5, после чего общий эксперт был дообучен методом self-distillation для восстановления качества. Основные компоненты распределены между форматами int4, fp8 и bf16; применяются GPTQ-Marlin с размером группы 128 и AutoRound. В репозитории также содержится FP8-таблица n-грамм объёмом около 49 ГБ, отображаемая из памяти при работе. Сильными сторонами являются высокая скорость генерации — примерно 64–70 токенов в секунду на DGX Spark, сохранение возможностей инструментального использования и уменьшенные активные вычисления по сравнению с исходной моделью. Ограничение — некоторое снижение общей способности: заявленный показатель составляет около 47–49 против 51,8 у исходной версии, а результаты измерялись собственным тестовым стендом и не являются универсальным лидербордом. Для запуска требуется специализированная сборка vLLM, поскольку стандартная vLLM не поддерживает используемую комбинацию int4 и fp8. Лицензия указана как qwen с типом other; применяются условия лицензии Qwen, ссылка на которую приведена в карточке.

Salience-27B-R6-i1-GGUF — набор GGUF-квантизаций модели Salience-27B-R6, разработанный vectionlabs на базе Qwen3.8. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и вызова инструментов; заявлена поддержка мультимодальных задач с обработкой изображений через отдельный vision encoder mmproj. Основной язык — английский. Это плотная модель примерно на 27 млрд параметров с гибридной архитектурой: 48 из 64 слоёв используют линейное внимание с рекуррентным состоянием, а остальные — обычное внимание. Для запуска рекомендуется llama.cpp; пример конфигурации использует контекст до 32 768 токенов, шаблон чата jinja и reasoning-формат deepseek. Квантизации используют importance matrix и распределение битов по тензорам, что особенно направлено на сохранение качества вызова инструментов и агентского поведения. Доступны варианты от IQ2_XXS и IQ2_M до Q6_K; размер файлов составляет примерно 8,2–21 ГБ. Сильными сторонами являются поддержка рассуждений, кода, инструментов, длинного контекста и изображений, а также возможность запуска на системах с ограниченной памятью благодаря широкому выбору квантизаций. При этом низкие уровни IQ2 и Q2 не рекомендуются: качество заметно снижается, а ошибки могут сильнее накапливаться при увеличении длины контекста. Для обработки изображений требуется отдельный файл vision encoder; без jinja-шаблона возможны некорректные вызовы инструментов. Модель и квантизации распространяются по лицензии Apache-2.0.

Smaug-Llama-3-70B-Instruct-32K — большая языковая модель Abacus.AI для диалогов и генерации текста, основанная на Meta Llama 3 70B Instruct. Это плотная авторегрессионная архитектура Llama с 69,5 млрд параметров и контекстом до 32 768 токенов. Версия 32K использует PoSE и перенос LoRA-адаптера; формат репозитория — safetensors, модель предназначена для работы с Transformers и сохраняет формат промптов Llama 3 70B Instruct. Модель подходит для диалоговых ассистентов, ответов на вопросы, решения математических задач и помощи с кодом. В README приведены результаты отдельных тестов, однако авторы отмечают, что на оценку Arena-Hard влияет многословность ответов; часть результатов бенчмарков отсутствует или помечена как предварительная. Модель распространяется по лицензии Llama 3 (llama3), условия которой следует учитывать при использовании и распространении.

Darwin-31B-Opus — языковая модель VIDRAFT на архитектуре Gemma 4 Dense с 31 млрд параметров, созданная слиянием google/gemma-4-31B-it и TeichAI/gemma-4-31B-it-Claude-Opus-Distill с помощью Darwin V6. Модель предназначена для диалогов и задач, требующих рассуждений, включая научные вопросы, математику, программирование и анализ. Для слияния применён вариант DARE-TIES с индивидуальным подбором коэффициентов для 1 188 тензоров. Модель работает с текстом и, благодаря сохранённой мультимодальной архитектуре Gemma 4, поддерживает изображения; заявленное контекстное окно — 256 тысяч токенов. README заявляет поддержку более 140 языков, а метаданные карточки указывают английский, корейский, японский и китайский. Весовая точность — BF16, файлы опубликованы в формате safetensors. Карточка сообщает о результате 85,9% на GPQA Diamond при использовании дополнительного движка рассуждений Darwin-DELPHI; методика оценки защищена, поэтому результат нельзя считать независимой оценкой базовой модели. Лицензия — Apache-2.0.

casperhansen/deepseek-r1-distill-qwen-14b-awq — это 4-битная AWQ-квантизованная версия DeepSeek-R1-Distill-Qwen-14B, опубликованная пользователем casperhansen на Hugging Face. Исходную модель разработала DeepSeek; она создана на базе Qwen2.5-14B и дообучена на образцах рассуждений, сгенерированных DeepSeek-R1. Модель предназначена для генерации текста и диалогов, а также задач, требующих рассуждений, включая математику, программирование и анализ сложных запросов. Это text-only causal language model архитектуры Qwen2, примерно на 14 млрд параметров, представленная в формате Safetensors с 4-битной AWQ-квантизацией. В конфигурации указаны 48 слоёв, 40 attention heads, 8 key-value heads и максимальная длина последовательности до 131072 токенов. Модель поддерживает локальный запуск через совместимые инструменты, включая Transformers, vLLM и SGLang; квантизация снижает требования к памяти по сравнению с исходной версией. Сильная сторона модели — сохранение возможностей дистиллированной R1-модели в существенно более компактном формате; для исходной 14B-версии DeepSeek указывает высокие результаты на математических, кодовых и reasoning-бенчмарках, включая AIME 2024, MATH-500, GPQA Diamond и LiveCodeBench. Ограничения включают возможную потерю качества из-за 4-битной квантизации, зависимость производительности от аппаратного обеспечения и программного стека, а также отсутствие заявленной мультимодальности. Репозиторий версии AWQ распространяется по лицензии MIT; для производной модели также следует учитывать условия лицензии исходной Qwen2.5.

Карточка модели nishti1024/DeepSeek-V4.1-Flash на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-V4.1-Flash, поэтому описание составлено по ней. DeepSeek-V4.1-Flash — мультимодальная модель DeepSeek для диалогов, рассуждений и агентных задач. Она принимает изображения и текст и авторегрессионно генерирует текст. По README, модель обучена с нуля и использует архитектуру Causal Encoder-Decoder с 40 слоями и Mixture-of-Experts; в ней 552 млрд параметров backbone, а при обработке токенов активируется 8 млрд параметров на этапе prefill и 16 млрд при генерации. Модель поддерживает контекст до одного миллиона токенов и управляемый уровень усилий рассуждения от 1 до 100. Среди заявленных архитектурных решений — сжатие KV-кэша, разреженное внимание, условная память Engram и спекулятивное декодирование. Модель ориентирована на сценарии с длинным контекстом и агентным выполнением задач, включая работу с кодом и визуальными данными. Метаданные указывают форматы safetensors FP8 и библиотеку Transformers; лицензия — MIT. README отмечает, что для релиза не предоставлен Jinja-шаблон чата, а для запуска локально предлагается обратиться к инструкциям в папке inference.

DeepSeek-V4-Pro-DSpark — это не отдельная модель, а тот же чекпойнт DeepSeek-V4-Pro с подключённым дополнительным модулем speculative decoding. Модель разработана DeepSeek AI и относится к серии DeepSeek-V4, предназначенной для сложных задач обработки текста, рассуждений, программирования, агентских сценариев и работы с очень длинным контекстом. В основе лежит разреженная Mixture-of-Experts (MoE) архитектура: DeepSeek-V4-Pro содержит 1,6 трлн параметров, из которых при обработке активируется 49 млрд. Модель поддерживает контекст до 1 млн токенов. В архитектуре используются Hybrid Attention с механизмами Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections; для обучения применялся оптимизатор Muon. Указана смешанная точность FP4 и FP8: параметры экспертов MoE используют FP4, большинство остальных параметров — FP8. Данные о поддерживаемых языках и мультимодальности в README не приведены. Сильными сторонами модели являются большой контекст, высокая вычислительная эффективность при длинных последовательностях и рассчитанность на сложные задачи, включая кодирование, рассуждения и использование инструментов. Ограничение заключается в том, что DSpark добавляет speculative decoding к существующему чекпойнту, а не представляет самостоятельную архитектуру. Для запуска требуется инфраструктура, способная работать с моделью масштаба 1,6 трлн параметров и соответствующими форматами точности. Модель распространяется по лицензии MIT.

MLX-квантизированная версия Gemma 4 26B A4B instruction-tuned, разработанная сообществом mlx-community на базе модели Google gemma-4-26B-A4B-it. Квантизация выполнена с помощью mlx-optiq — инструментария для локального запуска и оптимизации больших языковых моделей на Apple Silicon без PyTorch и облачных сервисов. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, выполнения инструкций, tool calling и агентских сценариев. Модель использует смешанную точность: преимущественно 4-bit, при этом чувствительные слои переведены в 8-bit. Из 325 квантизированных слоёв 246 работают в 8-bit и 79 — в 4-bit; размер группы составляет 64. Калибровка проводилась на данных из шести доменов: обычный текст, рассуждения, код, агентские задачи, вызовы инструментов и инструкции с ограничениями. Размер модели на диске составляет около 16,4 ГБ. Поддерживается speculative decoding с отдельной моделью-драфтером Gemma 4. Сведения о длине контекста, языках и мультимодальных возможностях в README не указаны. По приведённым результатам модель превосходит стандартную равномерную 4-bit-квантизацию по MMLU, GSM8K, HumanEval и длинноконтекстному извлечению HashHop; совокупный Capability Score составляет 75,76 против 72,95. При этом на IFEval и BFCL-V3 она немного уступает равномерной 4-bit-версии, а размер на диске примерно на 1,9 ГБ больше. Для использования требуется MLX-совместимое окружение, например Apple Silicon с пакетами mlx-lm или mlx-optiq. Модель распространяется по лицензии Gemma, унаследованной от базовой модели; применяются условия Google Gemma.

TeichAI Gemma 4 31B IT Claude Opus Distill v2 — мультимодальная модель для диалогов, дообученная методом SFT на базе unsloth/gemma-4-31B-it с использованием наборов рассуждений, созданных на основе взаимодействий с Claude Opus. Модель семейства Gemma 4 имеет плотную архитектуру и предназначена для сложных многошаговых задач, генерации и отладки кода, научного анализа, синтеза исследовательских материалов и повседневного следования инструкциям. Модель принимает текст и изображения; README также описывает работу с видео как последовательностью кадров, но метаданные указывают только задачу image-text-to-text. Карточка рекомендует Transformers и описывает режим рассуждений, а также настраиваемый бюджет визуальных токенов для задач от распознавания текста на изображениях до их общего анализа. Размер контекста и поддерживаемые языки в предоставленных данных не указаны. Бенчмарки пока не представлены, поэтому качество для конкретных задач следует оценивать самостоятельно. Лицензия — Apache-2.0.

unsloth/gemma-4-E2B-it — дообученная Unsloth версия мультимодальной Gemma 4 E2B IT от Google DeepMind. Это плотная модель условной генерации с гибридным вниманием: локальные окна чередуются с глобальным вниманием. Она предназначена для диалогов, рассуждений, работы с инструментами, программирования и анализа изображений; карточка указывает контекст до 128 тыс. токенов для E2B/E4B и поддержку более чем 35 языков. Репозиторий содержит веса в формате safetensors. Модель подходит для визуальных вопросов и ответов, извлечения данных из документов, распознавания текста и содержимого диаграмм, понимания интерфейсов и генерации кода. Gemma 4 E2B также поддерживает аудиораспознавание и перевод речи в текст, однако карточка этого репозитория и его pipeline tag обозначают задачу image-text-to-text. Ответы могут содержать фактические ошибки, а качество зависит от формулировки запроса и охвата обучающих данных; модель может ошибаться в нюансах языка и здравом смысле. Лицензия — Apache-2.0.

coder3101 представил дообученную мультимодальную модель на базе Google Gemma 4 E2B-it. Она предназначена для диалогов, рассуждений, генерации и исправления кода, анализа изображений и выполнения задач с инструментами. Архитектура — плотная Gemma4ForConditionalGeneration; модель работает с текстом и изображениями. В карточке семейства также заявлена обработка аудио и видео, однако поддержка этих возможностей именно этой производной версии не подтверждена. Модель подходит для чат-ботов, суммаризации, извлечения сведений из изображений и документов, распознавания текста и помощи с программированием. Для Gemma 4 E2B указано контекстное окно до 128 тысяч токенов; семейство поддерживает более 35 языков. Производная опубликована в формате safetensors по лицензии Apache 2.0. Возможны фактические ошибки, предвзятость и трудности с неоднозначными или сложными запросами. В названии и тегах версии заявлены uncensored/abliterated характеристики, но README не описывает метод изменения поведения или его последствия.

Карточка модели Pound1320/gemma-4-E4B-it-uncensored-heretic на Hugging Face совпадает с карточкой llmfan46/gemma-4-E4B-it-uncensored-heretic, поэтому описание составлено по ней. llmfan46/gemma-4-E4B-it-uncensored-heretic — производная модель на основе Google Gemma 4 E4B Instruct, опубликованная независимым автором. Это плотная мультимодальная модель для диалога и генерации текста, понимания изображений и аудио, рассуждений, программирования и вызова инструментов. В карточке заявлены гибридное внимание с локальными скользящими окнами и глобальными слоями, а для базовой модели E4B — контекст до 128 тысяч токенов и поддержка более 35 языков. Модель подходит для чат-ботов, суммаризации и создания текстов, извлечения данных из изображений и документов, распознавания речи и голосовых сценариев. В названии и тегах указано uncensored/abliterated, однако README не описывает конкретные изменения и не приводит отдельные оценки качества именно этой производной версии. Возможны фактические ошибки, смещения и трудности с неоднозначными или сложными запросами. Лицензия — Apache-2.0.

Карточка модели Titanfrm/gemma-4-E4B-it-uncensored-heretic на Hugging Face совпадает с карточкой llmfan46/gemma-4-E4B-it-uncensored-heretic, поэтому описание составлено по ней. llmfan46/gemma-4-E4B-it-uncensored-heretic — производная модель на основе Google Gemma 4 E4B Instruct, опубликованная независимым автором. Это плотная мультимодальная модель для диалога и генерации текста, понимания изображений и аудио, рассуждений, программирования и вызова инструментов. В карточке заявлены гибридное внимание с локальными скользящими окнами и глобальными слоями, а для базовой модели E4B — контекст до 128 тысяч токенов и поддержка более 35 языков. Модель подходит для чат-ботов, суммаризации и создания текстов, извлечения данных из изображений и документов, распознавания речи и голосовых сценариев. В названии и тегах указано uncensored/abliterated, однако README не описывает конкретные изменения и не приводит отдельные оценки качества именно этой производной версии. Возможны фактические ошибки, смещения и трудности с неоднозначными или сложными запросами. Лицензия — Apache-2.0.

Hermes 3 — большая языковая модель общего назначения от Nous Research, дообученная на основе Meta Llama 3.1 70B. Эта версия содержит FP8-квантизированные веса NeuralMagic в формате safetensors и предназначена для запуска через vLLM. Модель использует архитектуру Llama с 69,5 млрд параметров и контекстом до 131 072 токенов. Модель рассчитана на диалог с инструкциями, многошаговые рассуждения, ролевые сценарии, генерацию кода и работу в качестве агента. Она поддерживает формат диалога ChatML, вызов функций и формирование структурированных ответов, включая JSON. В карточке указана поддержка английского языка. Модель предлагает длинный контекст и интерфейс для вызова инструментов, но качество может различаться в зависимости от задачи; README отмечает, что у неё есть разные сильные и слабые стороны относительно Llama 3.1 Instruct. Лицензия — Llama 3. Указанная версия квантизирована в FP8 и ориентирована на vLLM.

Hermes 3 — большая языковая модель Nous Research для диалогов и задач общего назначения. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, дообученная на основе meta-llama/Meta-Llama-3.1-8B. Она принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Карточка указывает английский язык. Модель предназначена для многошаговых диалогов, следования инструкциям, рассуждений, ролевых сценариев, генерации кода и работы в качестве ассистента. ChatML поддерживает структурированные беседы, а обучение охватывает вызов инструментов и выдачу структурированного JSON. Качество может различаться по задачам; результаты в карточке характеризуются как конкурентные моделям Llama 3.1 Instruct, с разными сильными и слабыми сторонами. Для использования необходимо соблюдать лицензию Llama 3. Показатели в карточке не гарантируют качество в конкретном приложении; вызовы инструментов требуют разбора и выполнения со стороны внешнего кода.

Ling-1T — базовая языковая модель серии Ling 2.0, разработанная командой InclusionAI. Это причинная MoE-модель с архитектурой BailingMoeV2: в README заявлены 1 трлн параметров всего и около 50 млрд активных параметров на токен, тогда как метаданные Hugging Face указывают 49,6 млрд параметров. Модель обучена более чем на 20 трлн токенов и предназначена для генерации текста, диалога, сложных рассуждений, программирования и работы с инструментами. Для репозитория указаны контекст 32 768 токенов и формат safetensors; в README для Ling-1T-base заявлена поддержка до 128 тыс. токенов, поэтому длина контекста может зависеть от варианта модели. Модель рассчитана на многоязычный текст и показывает заявленные разработчиками возможности в математике, логике, написании кода и создании интерфейсов. Архитектура MoE активирует лишь часть параметров для каждого токена; также описаны MTP-слои и обучение с использованием FP8. Модель принимает текст и генерирует текст; визуальные задачи в README относятся к визуальному рассуждению и генерации интерфейсного кода, но поддержка изображений в метаданных не указана. README отмечает ограничения в многоходовом взаимодействии, долговременной памяти и использовании инструментов, а также возможные отклонения от инструкций и путаницу ролей. Модель распространяется по лицензии MIT.

Ling-3.0-tiny — компактная гибридная языковая модель семейства Ling, разработанная inclusionAI. Она предназначена для диалогов, многошаговых рассуждений и агентных сценариев с умеренными затратами на инференс, включая локальное развертывание на ограниченных ресурсах. Модель принимает текст и генерирует текст; заявлены задачи программирования, математики, научных рассуждений, понимания длинного контекста и следования инструкциям. В README указаны архитектура MoE с чередованием слоёв KDA и MLA, 128 маршрутизируемых экспертов, 7,9 млрд параметров всего и 1,3 млрд активируемых на токен. Метаданные Hugging Face указывают 977,5 млн параметров и контекст 131072 токена, что расходится с README по числу параметров; число параметров здесь поэтому не следует считать однозначно установленным. Для режимов рассуждения можно включать или выключать thinking mode. Доступны веса BF16, FP8 и INT4; заявлена проверка на NVIDIA DGX Spark и компьютерах Apple Silicon. Модель подходит для локального ассистента, программирования, решения математических задач и агентных рабочих процессов. README приводит результаты внутренних оценок и скорости для конкретных конфигураций оборудования, которые не гарантируют такую же производительность в других условиях. Лицензия — MIT.

MaziyarPanahi/Meta-Llama-3-8B-Instruct-GGUF — это квантизированная версия инструкционно дообученной модели Meta-Llama-3-8B-Instruct, разработанной Meta и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для диалоговых ассистентов, генерации текста и кода, а также коммерческого и исследовательского использования на английском языке. Для работы необходимо применять шаблон запросов Llama 3. Модель представляет собой авторегрессионную языковую модель на оптимизированной архитектуре Transformer с 8 млрд параметров и механизмом Grouped-Query Attention (GQA). Она принимает только текст и генерирует текст или код, имеет контекст 8 тысяч токенов и обучалась на более чем 15 трлн токенов общедоступных онлайн-данных. Инструкционная версия использует supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Репозиторий содержит варианты квантизации от 2 до 16 бит, что позволяет выбирать компромисс между размером модели, скоростью и качеством вывода. Сильными сторонами являются поддержка диалоговых сценариев, генерации кода и возможность запуска через совместимые инструменты для GGUF, включая llama.cpp, с меньшими требованиями к ресурсам благодаря квантизации. Ограничения включают преимущественную ориентацию на английский язык, контекст длиной 8 тысяч токенов, статичность модели и возможные потери качества в квантизированных вариантах. Использование регулируется пользовательской лицензией Meta Llama 3 и соответствующей политикой допустимого использования.

Meta-Llama-3-8B-Instruct-iMat-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Meta-Llama-3-8B-Instruct, разработанной Meta. Модель предназначена для диалоговых сценариев и задач генерации текста и кода, включая использование в качестве ассистента. Вариант подготовлен с помощью llama.cpp и доступен в наборах K- и IQ-квантов от Q6_K до IQ1_S. Модель представляет собой авторегрессионный языковой трансформер с оптимизированной архитектурой и Grouped-Query Attention (GQA), содержит около 8 млрд параметров и поддерживает контекст до 8 тысяч токенов. Она принимает только текст и генерирует текст или код. Обучение включает предварительное обучение, supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Основной язык — английский; применение для других языков обозначено как выходящее за рамки исходного назначения, хотя дополнительное дообучение возможно при соблюдении условий лицензии. Ключевые преимущества этого варианта — поддержка локального запуска через llama.cpp, наличие множества уровней квантования и использование importance matrix для снижения потерь качества при квантовании. Исправлены настройки токенизатора и EOS-токена для корректной работы инструкционного режима, однако для новых квантов требуется совместимая версия llama.cpp с соответствующими исправлениями и шаблоном чата Llama 3. Модель является статичной и обучена на офлайн-данных; дата отсечения знаний — март 2023 года. Использование регулируется пользовательской лицензией Meta Llama 3 и Acceptable Use Policy.

MiniMax-M3-MXFP8 — квантованная в формате MXFP8 версия нативной мультимодальной модели MiniMax-M3, разработанная компанией MiniMax AI. Модель предназначена для работы с текстом, изображениями и видео, а также для агентских сценариев, программирования и задач, требующих длительного взаимодействия с контекстом. Поддерживается контекст до 1 миллиона токенов. Модель использует разреженное внимание MiniMax Sparse Attention (MSA), уменьшающее вычислительные затраты и объём памяти по сравнению с GQA при сохранении качества. Общий размер составляет около 428 млрд параметров, из которых активируется примерно 23 млрд, что указывает на разреженную MoE-архитектуру. Доступны режимы рассуждений enabled, adaptive и disabled: они позволяют выбирать между постоянным рассуждением, его автоматическим включением при необходимости и минимизацией задержки. К сильным сторонам относятся нативное объединение текстовой, визуальной и видеомодальностей, эффективная работа с миллионным контекстом, а также ориентация на сложные агентские и кодировочные задачи. Ограничения связаны с очень большим общим размером модели и соответствующими требованиями к инфраструктуре; конкретные поддерживаемые языки и подробные аппаратные требования в README не указаны. Модель распространяется по лицензии MiniMax Community License, обозначенной как license: other.

Ministral-8B-Instruct-2410 — инструктивно дообученная языковая модель компании Mistral AI для локального запуска, вычислений на устройствах и периферийных системах. Это плотный трансформер семейства Mistral с примерно 8 млрд параметров; модель поддерживает диалог и вызов функций. В карточке заявлено окно контекста до 128 тыс. токенов, но метаданные каталога указывают 32 768 токенов, а README уточняет, что vLLM ограничивает контекст 32 тыс. токенов; полный размер окна доступен при использовании Mistral Inference. Модель рассчитана на генерацию ответов по инструкциям, диалог, программирование, математические задачи и вызов функций. Она обучена на значительной доле многоязычных и программных данных; заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Рекомендуемая библиотека для инференса — vLLM. Модель распространяется по Mistral Research License; для коммерческого использования README предлагает обратиться к Mistral AI за коммерческой лицензией. Для запуска на одном GPU требуется 24 ГБ видеопамяти. Качество ответов и многоязычные возможности зависят от языка и задачи.

Это GGUF-версия Mistral-Small-4-119B-2603, подготовленная noctrex с квантизацией MXFP4 для тензоров MoE и BF16 для остальных тензоров. Для работы автор рекомендует использовать актуальную версию llama.cpp; для файла mmproj рекомендует вариант F32 для наилучшего качества. Основа — мультимодальная модель Mistral AI для диалогов, рассуждений, программирования, агентных задач и анализа изображений и документов; в карточке репозитория основной pipeline указан как генерация текста. BF16 для неквантизированных тензоров сохраняет их исходную точность и может давать более высокое качество, чем вариант с Q8, но на некоторых архитектурах работает медленнее. Репозиторий создан 17 марта 2026 года. Лицензия в предоставленных данных не указана.

NVIDIA-Nemotron-3-Ultra-550B-A55B-quantized.w4a16 — большая языковая модель Red Hat на базе NVIDIA Nemotron 3 Ultra 550B A55B BF16, опубликованная для генерации текста, рассуждений и работы с инструментами. Она предназначена для сложного решения задач, математики и естественных наук, генерации кода и выполнения инструкций. Модель поддерживает ввод и вывод текста, а также вызов инструментов. Модель использует архитектуру NemotronHForCausalLM, содержит 550 млрд общих параметров и 55 млрд активных параметров. Веса линейных операторов в трансформерных блоках квантизированы в INT4 по схеме W4A16 с размером группы 128; применяется асимметричное покомпонентное квантование по группам. Это примерно на 75% снижает размер модели на диске и требования к памяти GPU по сравнению с BF16-версией. Для работы с рассуждениями и вызовом инструментов требуются соответствующие парсеры vLLM. Заявленная длина контекста — до 262 144 токенов. Сильными сторонами модели являются высокая емкость для сложных задач, поддержка reasoning, генерации кода и tool calling, а также существенное снижение требований к памяти благодаря INT4-квантизации. Ограничения включают значительные вычислительные требования: в рекомендованной конфигурации используется 8 GPU; сведения о поддерживаемых языках и количественных результатах оценки в README не указаны. Модель распространяется по лицензии NVIDIA Open Model License; использование, нарушающее применимое законодательство или нормативные требования, исключено из области применения.

Ocean-Horizon-3.7B — плотная авторегрессионная языковая модель с декодерной архитектурой от OceanLabs. В метаданных указано 4,1 млрд параметров, тогда как в названии и README модель обозначена как 3,7B. Она работает через Transformers и имеет нативное контекстное окно 524 288 токенов. Модель предназначена для генерации текста, программирования, математических и научных рассуждений, агентных сценариев и анализа длинных документов. Карточка заявляет настраиваемую глубину рассуждений, специальные токены для них и встроенный вызов инструментов с представлением JSON, XML или Markdown. В README описан многоэтапный процесс обучения, включающий предобучение, расширение контекста, обучение на задачах рассуждения и настройку по инструкциям. Базовая модель не указана. Лицензия Apache-2.0 разрешает исследовательское и коммерческое использование. Заявления о высокой производительности приведены без численных результатов бенчмарков в доступной части карточки.

Phi-3-Small-8K-Instruct — компактная языковая модель Microsoft из семейства Phi-3 с плотной архитектурой и примерно 8,2 млрд параметров. Она дообучена с помощью supervised fine-tuning и direct preference optimization для следования инструкциям и диалогового взаимодействия; доступна в формате safetensors и распространяется по лицензии MIT. Модель предназначена для генерации текста в чат-системах и приложениях общего назначения, особенно в условиях ограниченных вычислительных ресурсов или требований к низкой задержке. В карточке отмечены сильные стороны в рассуждениях, математике, логике и коде. Контекст составляет до 8192 токенов; основное внимание при обучении уделено английскому языку, хотя модель помечена как многоязычная. Как и другие языковые модели, она может выдавать неверную или устаревшую информацию, предвзятые либо оскорбительные ответы. Для языков помимо английского качество может быть ниже; сгенерированный код и ответы для чувствительных областей требуют проверки. Карточка не рекомендует использовать модель в высокорисковых сценариях без дополнительных оценок и мер защиты.

RedHatAI/phi-4-quantized.w8a8 — квантизированная версия языковой модели phi-4, разработанной Microsoft. Модель подготовлена Red Hat совместно с Neural Magic и предназначена для генерации текста, диалоговых приложений, задач рассуждений, логики, математики и программирования, преимущественно на английском языке. Она принимает текст и генерирует текст, а архитектура указана как Phi3ForCausalLM. Модель использует INT8-квантизацию весов и активаций. Квантизация линейных операторов в трансформерных блоках примерно вдвое снижает требования к памяти GPU и размер модели на диске, а также может увеличить пропускную способность матричных вычислений примерно в два раза. Для весов применяется симметричная статическая поканальная схема, для активаций — симметричная динамическая потокенная схема; используются методы SmoothQuant и GPTQ через библиотеку llm-compressor. В README приведён пример развёртывания с vLLM и максимальной длиной контекста 32768 токенов в конфигурации сервера. Модель подходит для сред с ограниченными ресурсами и сценариев, чувствительных к задержке, а также как компонент генеративных AI-систем. Ограничения включают преимущественную ориентацию на английский язык, возможные типичные ошибки языковых моделей и отсутствие оценки для всех прикладных сценариев. Перед использованием в критически важных или высокорисковых задачах необходимо отдельно проверять точность, безопасность и справедливость результатов. Модель распространяется по лицензии MIT и валидирована для RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5.

Quatfit Mini — мультимодальная модель на 8 млрд параметров от Quatfit AI Research, дообученная на архитектуре Google Gemma 4. Она принимает текст, изображения и аудио, а также поддерживает контекст до 131 072 токенов. В репозитории опубликованы веса FP32 в формате safetensors; для инференса на менее мощном оборудовании доступны преобразование в BF16/FP16 и отдельные сборки GGUF. Разработчик заявляет оптимизации для ускорения инференса, в том числе speculative decoding, и сценариев с вызовом инструментов. Модель предназначена для визуальных вопросов и ответов, OCR, понимания диаграмм и аудио, программирования, длинного контекста и агентных рабочих процессов. Карточка перечисляет поддержку английского, хинди, гуджарати, маратхи, телугу, французского, японского и китайского языков. Для медицинской диагностики, юридических рекомендаций и решений с высоким риском модель не предназначена; также обозначены ограничения для крупных программных проектов и соревновательного программирования. Лицензия — Apache-2.0.

DreamFast/Qwen2.5-7B-Instruct-heretic-1.3.0 — производная версия Qwen2.5-7B-Instruct, созданная сообществом с помощью Heretic v1.3.0. Это плотная причинная языковая модель на архитектуре Qwen2 с 7,1 млрд параметров в формате bfloat16 и safetensors; квантизация не применялась. В README описано удаление поведения отказа от ответа ортогональной проекцией направления отказа в слоях внимания 9–27. Модель предназначена для диалогов и генерации текста, включая ответы на инструкции, код, математику и структурированные данные. Модель принимает текст и выдаёт текст. Метаданные указывают контекст до 32 768 токенов; README поясняет, что для более длинных входов можно включить YaRN, а исходная серия Qwen2.5 поддерживает множество языков, включая русский. В README приведены результаты сравнений на стандартных бенчмарках и тест HarmBench, где авторы сообщают о высокой готовности отвечать на запросы без отказов. Это означает, что встроенные механизмы безопасного отказа намеренно ослаблены. Репозиторий распространяется по лицензии Apache-2.0.