I.11Классификация, ранжирование и сопоставление

Llama-TI-8B — текстовая авторегрессионная модель семейства Llama, разработанная и загруженная ehristoforu на основе Meta Llama 3.1 8B. В модели сохранена архитектура LlamaForCausalLM; README указывает на дополнительное обучение и слияние моделей. Число параметров — 7,5 млрд по метаданным, контекст — до 131 072 токенов. Распространяется в формате safetensors по лицензии Apache-2.0. Модель предназначена для генерации текста, рассуждений, решения математических и физических задач, творческого письма, программирования и анализа длинных текстов. README заявляет об улучшениях в математике, биологии, рассуждениях и письме; модель ориентирована на многоязычную генерацию, однако конкретные поддерживаемые естественные языки не перечислены. Доступна базовая версия, а чат-версия вынесена в отдельный репозиторий.

ProfessorF (Nick V. Flor, PhD) публикует эту версию NVIDIA Nemotron 3 Nano Omni в формате GGUF BF16 для воспроизводимости исследований. Исходная мультимодальная модель разработана NVIDIA и объединяет понимание видео, аудио, изображений и текста для корпоративных сценариев: вопросов и ответов, суммаризации, транскрипции и анализа документов. В карточке указано, что модель дополнительно обучалась с использованием нескольких моделей Qwen и gpt-oss-120b; точное число параметров и длина контекста для этой копии не приведены. Модель предназначена для анализа записей встреч и обучающих видео, поиска по медиаматериалам, распознавания речи и текста на документах, а также для GUI-агентов и автоматизации работы с браузерами, почтой и системами управления инцидентами. Заявлена поддержка коммерческого использования; метаданные указывают лицензию other, поэтому перед внедрением следует проверить условия лицензии в карточке исходной модели NVIDIA и этой копии.

NVIDIA-Nemotron-3-Nano-30B-A3B-FP8 — квантизированная FP8-версия большой языковой модели NVIDIA Nemotron-Nano-3-30B-A3B, разработанная NVIDIA Corporation с нуля. Модель предназначена для генерации текста, диалогов, решения задач с рассуждением, следования инструкциям, работы с кодом и математикой, а также сценариев tool-calling. В карточке также заявлены задачи text-to-text, image-to-text и reasoning, однако подробности о мультимодальных возможностях не приведены. Модель использует гибридную архитектуру Mixture-of-Experts: 23 слоя Mamba-2 и MoE, а также 6 attention-слоёв. Всего модель содержит около 30 млрд параметров, из которых 3,5 млрд активируются для каждого токена. Каждый MoE-слой включает 128 экспертов и одного общего эксперта, при этом для токена активируются 6 экспертов. Модель поддерживает английский, немецкий, испанский, французский, итальянский и японский языки; также указано улучшение с использованием Qwen. Размер контекста в предоставленных данных не указан. Модель объединяет режимы с рассуждением и без него. По умолчанию она может сначала формировать reasoning trace, а затем итоговый ответ; рассуждение можно отключить через настройку chat template, что немного снижает точность на сложных запросах. К сильным сторонам относятся сочетание высокой общей ёмкости с меньшим числом активных параметров, поддержка нескольких языков и специализированных сценариев, включая reasoning и tool-calling. Ограничениями являются необходимость совместимого инференсного стека и отсутствие в карточке подробных результатов бенчмарков, сведений о контекстном окне и детального описания заявленной image-to-text функциональности. Модель распространяется по NVIDIA Open Model License. Она валидирована в RHOAI 3.0, RHAIIS 3.2.5 и vLLM 0.11.2.

ibrahimkettaneh/Qwen2.5-32B-Instruct-abliterated-pass2-AWQ — это квантованная в формате AWQ производная версия Qwen2.5-32B-Instruct. Репозиторий опубликован Ibrahim Kettaneh, а исходную модель разработала команда Qwen компании Alibaba Cloud. Вариант pass2 относится к моделям с изменённым поведением отказов, описываемым как refusal-ablated; точные методы и результаты такого изменения в доступных данных не указаны. Модель предназначена для генерации текста, диалогов, следования инструкциям, работы со структурированными данными, программированием и математическими задачами. Она сохраняет характеристики базовой Qwen2.5-32B-Instruct: causal language model с архитектурой на основе Transformer, RoPE, SwiGLU, RMSNorm и GQA; около 32,5 млрд параметров, 64 слоя, 40 attention heads для Q и 8 для KV. Поддерживаются контекст до 131 072 токенов и генерация до 8 192 токенов, а также более 29 языков, включая русский, английский и китайский. Это текстовая модель без заявленной поддержки изображений или других модальностей. Ключевые преимущества — большой размер, развитое следование инструкциям, длинный контекст, мультиязычность и сниженное количество стандартных отказов вследствие abliteration. Ограничения включают высокие требования к памяти и вычислениям, возможное ухудшение безопасности и надёжности отказов по сравнению с исходной instruct-моделью, а также отсутствие подтверждённых независимых оценок именно этой AWQ-версии. Для производной модели лицензия в найденных данных не заявлена; у базовой Qwen2.5-32B-Instruct указана Apache License 2.0, но её применимость к данному производному репозиторию следует проверять отдельно.

Qwen3-0.6B-FP8 — компактная причинно-следственная языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия базовой модели Qwen3-0.6B, предназначенная для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, перевода и мультиязычных сценариев. Модель также поддерживает интеграцию с внешними инструментами и агентские приложения. Модель содержит 0,6 млрд параметров, из них 0,44 млрд не относятся к embedding, и включает 28 слоёв. Она использует Grouped-Query Attention с 16 головами для запросов и 8 для ключей и значений, поддерживает контекст до 32 768 токенов и более 100 языков и диалектов. В одной модели можно переключаться между thinking mode для сложных рассуждений, математики и кода и non-thinking mode для более быстрой генерации и обычного диалога. FP8-квантизация с размером блока 128 снижает требования к ресурсам и подходит для развёртывания через Transformers, SGLang и vLLM. Сильные стороны модели — небольшой размер, поддержка мультиязычности, режимов рассуждения и обычного ответа, а также применимость к диалоговым и агентским задачам. Ограничения включают возможные бесконечные повторы при неподходящих параметрах генерации и известные проблемы fine-grained FP8 в Transformers при распределённом инференсе на нескольких устройствах. Модель распространяется по лицензии Apache 2.0.

Карточка модели OP12138/qwen3-1.7b-base на Hugging Face совпадает с карточкой Qwen/Qwen3-1.7B, поэтому описание составлено по ней. Qwen3-1.7B — компактная плотная причинная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит 1,7 млрд параметров, 28 слоёв и поддерживает контекст до 40 960 токенов по метаданным. Модель дообучена на базе Qwen/Qwen3-1.7B-Base и распространяется в формате safetensors под лицензией Apache-2.0. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с внешними инструментами через соответствующий интерфейс. Она поддерживает более 100 языков и диалектов. Заявлены режимы рассуждения и обычного диалога; компактный размер подходит для приложений с ограниченными ресурсами по сравнению с более крупными моделями семейства. В README указана длина контекста 32 768 токенов, тогда как метаданные каталога приводят 40 960; для характеристики использовано значение метаданных. В README также отмечен риск бесконечных повторов при некоторых настройках генерации и рекомендована настройка presence_penalty. Качество ответов и точность фактов требуют проверки в целевом сценарии.

nvidia/Qwen3-32B-NVFP4 — текстовая авторегрессионная языковая модель на базе Qwen3-32B, разработанной Alibaba. NVIDIA подготовила её квантованную версию с использованием TensorRT Model Optimizer v0.35.0; при этом модель не является собственной разработкой NVIDIA. Она предназначена для коммерческого и некоммерческого применения, включая AI Agent-системы, чат-боты, RAG-системы и другие приложения на основе генеративного ИИ. Модель использует архитектуру Transformers и содержит 32,8 млрд параметров. Она принимает и генерирует текстовые последовательности, поддерживает контекст длиной до 131 тысячи токенов. В рамках посттренировочной квантования веса и активации линейных операторов в трансформерных блоках преобразованы в формат FP4, что ориентировано на эффективный инференс. Указанная конфигурация предназначена для запуска с TensorRT-LLM на GPU NVIDIA, включая архитектуру Blackwell, преимущественно в среде Linux. К сильным сторонам относятся большой контекст, высокая ёмкость базовой модели и оптимизация FP4 для аппаратно ускоренного инференса. По приведённым результатам, относительно эталонной версии BF16 качество на MMLU Pro и AIME 2024 немного ниже, на SciCode сопоставимо или немного выше, а на MATH-500 совпадает; однако результаты не охватывают все сценарии применения. README не содержит сведений о поддерживаемых естественных языках, полном наборе ограничений, данных обучения и характеристиках производительности вне тестовой конфигурации. Лицензия — Apache License 2.0.

cyankiwi/Qwen3.5-27B-AWQ-BF16-INT4 — квантизированная версия мультимодальной модели Qwen3.5-27B, разработанной командой Qwen. Модель предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Репозиторий содержит веса и конфигурации в формате Hugging Face Transformers и совместим с Transformers, vLLM, SGLang и KTransformers. Модель построена как каузальная языковая модель с vision-энкодером и гибридной архитектурой, объединяющей Gated Delta Networks, Gated Attention и разреженный Mixture-of-Experts. Она содержит 27 млрд параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Название репозитория указывает на представление AWQ с использованием BF16 и INT4, что должно снижать требования к памяти и ускорять инференс, однако подробные характеристики квантизации в README не приведены. Сильными сторонами являются мультимодальность, длинный контекст, широкая языковая поддержка и эффективность гибридной архитектуры. Ограничения включают потенциальные потери качества и совместимости, связанные с квантизацией, а также отсутствие в предоставленных данных подробного описания ограничений, требований к оборудованию и результатов для конкретной квантизированной сборки. Лицензия — Apache-2.0.

ZuzeTt/Qwen3.5-9B-imatrix-GGUF — мультимодальная каузальная языковая модель с vision-энкодером из семейства Qwen, разработанного командой Qwen. Модель предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Указана лицензия Apache-2.0. Модель содержит около 9 млрд параметров, 32 слоя и использует гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Для квантования использовался llama.cpp; при подготовке указано вычисление более чем 400 фрагментов с n_ctx=1024, однако конкретный уровень квантования в README не указан. Сильными сторонами являются сочетание языковых и визуальных возможностей, высокая заявленная эффективность архитектуры, большой контекст и широкая языковая поддержка. Ограничения заключаются в отсутствии подробных сведений о фактических характеристиках именно данной квантованной сборки, включая точный формат и уровень квантования, требования к памяти и результаты независимого тестирования. README также описывает совместимость с Transformers, vLLM, SGLang и KTransformers.

Это текстовая языковая модель Lemura Labs, представляющая собой MLX-квантизацию модели Qwen3.6-27B-Claude-Opus-Reasoning-Distill-v2 от TeichAI. В основе лежит Qwen3.6-27B от команды Qwen; модель дополнительно прошла abliteration — удаление направлений, связанных с отказами, — с использованием OBLITERATUS, а затем была подвергнута статической смешанной квантизации OptiQ примерно до 3,7 бит на вес. Модель предназначена для генерации текста, диалогов, рассуждений, объяснений и планирования. Она поддерживает текстовые сценарии на английском и, согласно метаданным, мультиязычные задачи. Это модель только для текста: визуальный ввод и обработка изображений недоступны, поскольку исходный визуальный модуль был удалён. Архитектура включает гибридный стек из слоёв GatedDeltaNet и полноценных softmax-attention, 64 слоя, скрытое представление размером 5120, словарь около 248 тысяч токенов и контекст до 262 тысяч токенов. Главное преимущество версии — соотношение размера и качества: файл занимает около 12 ГБ, а модель рассчитана примерно на 16 ГБ оперативной памяти на устройствах Apple Silicon, включая M1–M4 Air, mini и базовые Pro. Квантизация OptiQ распределяет точность по слоям на основе чувствительности и KL-дивергенции, стремясь сохранить качество при ограниченных ресурсах. Ограничения включают отсутствие зрения, возможные потери качества из-за квантизации и особенности abliterated-модели: она может отвечать на запросы, от которых исходная модель отказывалась, поэтому её следует применять ответственно и в рамках закона. Модель распространяется по лицензии Apache-2.0 и предназначена для запуска в формате MLX с использованием mlx-lm, прежде всего на Apple Silicon.

batiai/Qwen3.8-27B-GGUF — это квантизированная версия модели Qwen3.8-27B, основанной на архитектуре Qwen3.5. Квантизацию выпустила BatiAI на базе официального релиза Qwen. Модель предназначена для локального запуска через llama.cpp и Ollama, включая использование на устройствах Apple Silicon. Модель представляет собой плотную модель на 27 млрд параметров с 64 слоями, скрытым размером 5120 и словарём из 248 320 токенов. Она использует гибридную архитектуру с преимущественно линейным вниманием Gated DeltaNet и полным вниманием в каждом четвёртом блоке. Нативный контекст составляет 262 144 токена и заявлена возможность расширения до 1 млн токенов. Поддерживаются текстовые сценарии, а при подключении vision-проектора BF16 — анализ изображений и видео. Заявлены языки английский, корейский и китайский. Модель ориентирована на генерацию текста, рассуждения, планирование и агентские сценарии с обработкой обратной связи от окружения. Режим рассуждений включён по умолчанию, его можно отключать и настраивать через reasoning_effort. Доступно несколько вариантов квантизации объёмом примерно от 10,2 до 22,1 ГБ, а vision-проектор требует ещё около 0,93 ГБ. Квантизация снижает требования к памяти, но может влиять на качество по сравнению с полноточной моделью; конкретные требования зависят от выбранного варианта и оборудования. На Apple Silicon производительность разных квантизаций неодинакова, поэтому меньший файл не всегда означает более высокую скорость. Распространение указано по лицензии Apache-2.0.

RedHatAI/Qwen3-8B-quantized.w4a16 — языковая авторегрессионная модель на архитектуре Qwen3ForCausalLM, разработанная Red Hat совместно с Neural Magic на базе Qwen/Qwen3-8B. Модель работает с текстом на входе и генерирует текст на выходе; заявлены поддержка рассуждений, вызова функций, многоязычного следования инструкциям, перевода и адаптации под предметные области посредством дообучения. Модель использует квантизацию весов до INT4 в формате W4A16. Квантизуются веса линейных операторов внутри трансформерных блоков с применением GPTQ, асимметричной групповой схемы и размером группы 64; параметр lm_head исключён. Такое сжатие уменьшает число бит на параметр с 16 до 4, а заявленный размер на диске и требования к памяти GPU — примерно на 75%. Для развёртывания рекомендуется backend vLLM, включая OpenAI-совместимый режим сервинга. Сильные стороны модели — существенно сниженные требования к хранению и GPU-памяти при сохранении назначения исходной Qwen3-8B, а также пригодность для задач рассуждений, перевода и работы с инструкциями. Ограничения включают потенциальное снижение качества из-за квантизации и отсутствие в представленном README конкретных численных результатов оценки; также не указаны точный перечень поддерживаемых языков и гарантированное максимальное окно контекста. В материалах приведены конфигурации с длиной последовательности до 8192 и отдельные оценки с длиной до 40960 токенов, что не следует автоматически трактовать как универсальное ограничение модели. Модель распространяется по лицензии Apache-2.0. Использование должно соответствовать применимым законам и нормативным требованиям.

Qwen3.8-Flash-Next-FP8 — экспериментальная модель семейства Qwen, разработанная командой Qwen. Это причинная языковая модель с vision encoder, предназначенная для обработки текста и изображений, генерации ответов и решения мультимодальных задач. FP8-вариант содержит квантизированные веса и конфигурацию в формате Hugging Face Transformers и совместим с Transformers, vLLM, SGLang и TokenSpeed. Модель имеет 125 млрд параметров, из которых 6 млрд активируются при обработке, а также 51 млрд параметров n-gram embedding и 4 млрд параметров MTP. Архитектура включает 48 слоёв, гибрид Gated DeltaNet и Qwen Sparse Attention, Mixture of Experts с 512 экспертами и активацией 10 маршрутизируемых экспертов плюс одного общего. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 000 000 токенов. Для повышения эффективности на длинном контексте используется разреженное внимание на уровне микроблоков. Ключевые сильные стороны модели — высокая вычислительная эффективность, сниженная задержка при работе с длинным контекстом, поддержка мультимодальных сценариев и экономичное FP8-квантизирование с заявленной близостью характеристик к исходной модели. Ограничения включают экспериментальный статус архитектуры, отсутствие в представленном README сведений о поддерживаемых языках, подробных результатах бенчмарков и требованиях к оборудованию. Модель распространяется по лицензии qwen-community-1.0; условия следует уточнять в файле LICENSE.

Qwen3-VL-30B-A3B-Instruct-AWQ — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3-VL-30B-A3B-Instruct, разработанной Qwen и опубликованной в репозитории dark-side-of-the-code. Модель предназначена для генерации текста по текстовым и визуальным запросам, включая понимание изображений, распознавание текста на изображениях, работу со структурированными ответами и вызов инструментов. Она рассчитана прежде всего на эффективное локальное развертывание через vLLM, в том числе на одной видеокарте с 24 ГБ памяти. Архитектура и поведение соответствуют базовой модели Qwen3-VL-30B-A3B-Instruct. Используется MoE-архитектура с 30 млрд параметров и примерно 3 млрд активных параметров; языковые веса сжаты до 4 бит по схеме W4A16 с размером группы 128, тогда как vision tower, MoE-router и lm_head сохранены в полной точности. Поддерживается мультимодальный ввод; в приведённой конфигурации проверена работа с несколькими изображениями и контекстом до 48 000 токенов при использовании FP8 KV-кэша. Размер файлов модели составляет около 17,8 ГБ. К сильным сторонам относятся существенное снижение требований к памяти, высокая скорость декодирования и сохранение возможностей базовой модели в задачах текста, OCR, структурированной генерации и tool calling. К ограничениям относятся небольшое снижение точности относительно версии bf16, зависимость от совместимой версии vLLM и необходимость настройки параметров обслуживания; данные о поддерживаемых языках отдельно не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-32B-Instruct — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen и представленная в формате GGUF компанией Unsloth. Это инструкционно настроенная dense-модель для обработки текста и визуальных данных, включая изображения и видео, с поддержкой сценариев image-text-to-text. Модель предназначена для визуального вопросно-ответного взаимодействия, анализа изображений и видео, OCR, понимания документов, STEM- и математического рассуждения, пространственного анализа, генерации кода и взаимодействия с графическими интерфейсами через визуального агента. Заявлены нативный контекст 256K токенов с возможностью расширения до 1M, улучшенное понимание длительных видео и событий с временными метками, а также OCR на 32 языках. Среди архитектурных компонентов указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. К сильным сторонам относятся объединённое понимание текста и визуальной информации, детальное восприятие сцен, объектов и документов, расширенный контекст и широкий набор мультимодальных задач. Ограничения включают высокие требования к вычислительным ресурсам, характерные для модели с 32B параметрами, а также потенциальные потери точности из-за квантования в GGUF; конкретный вариант квантования в README не указан. Для llama.cpp рекомендуется использовать параметр --jinja из-за исправлений chat template. Лицензия модели — Apache-2.0.

unsloth/Qwen3-VL-32B-Instruct-unsloth-bnb-4bit — 4-битная версия модели Qwen3-VL-32B-Instruct, подготовленная Unsloth на базе модели Qwen. Это мультимодальная vision-language модель для понимания и генерации текста по изображениям и видео, а также для работы с чистым текстом. Модель предназначена для описания и анализа изображений, визуального и пространственного рассуждения, распознавания текста, понимания длительных видеоматериалов, STEM- и математических задач, генерации кода и взаимодействия с графическими интерфейсами. Заявлены возможности визуального агента для работы с GUI, поддержка 2D- и 3D-пространственного анализа, а также OCR для 32 языков. Архитектурные компоненты включают Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Контекст составляет 256K токенов с возможностью расширения до 1M. Это instruct-модель с 32B параметров в исходной конфигурации, представленная в 4-битном формате bitsandbytes для снижения требований к памяти. К сильным сторонам относятся объединённое понимание текста и визуальных данных, расширенное восприятие изображений и видео, длинный контекст и агентские сценарии. Ограничения, включая возможные потери качества из-за квантизации и требования к вычислительным ресурсам, в README подробно не описаны. Указана лицензия Apache-2.0.

Qwen3-VL-4B-Instruct-GGUF — мультимодальная vision-language модель, созданная командой Qwen и представленная в формате GGUF компанией Unsloth. Она предназначена для диалогов и генерации текста по текстовым и визуальным входным данным, включая изображения и видео. Модель подходит для визуального анализа, распознавания текста, пространственного рассуждения, решения STEM- и математических задач, понимания видеосцен, генерации кода и взаимодействия с графическими интерфейсами и инструментами. Модель относится к семейству Qwen3-VL и использует плотную архитектуру с 4B параметров. Заявлена поддержка контекста длиной 256K токенов с возможностью расширения до 1M. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных представлений, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа видео. OCR поддерживает 32 языка, однако полный перечень языков в README не приведён. Сильные стороны модели — сочетание текстового и визуального понимания, расширенный контекст, обработка длинных документов и продолжительных видео, распознавание текста в сложных визуальных условиях, а также возможности пространственного и агентного рассуждения. Ограничения, включая точные требования к памяти, скорость работы, результаты бенчмарков и перечень поддерживаемых языков, в предоставленных данных не раскрыты. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-8B-Thinking-GGUF — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Репозиторий содержит GGUF-веса модели Qwen3-VL-8B-Thinking, разделённые на языковую модель и vision encoder в формате mmproj. Модель предназначена для анализа изображений и видео, генерации и понимания текста, визуального рассуждения, OCR, пространственного анализа, STEM- и математических задач, визуального программирования, а также взаимодействия с графическими интерфейсами и инструментами. Модель относится к thinking-редакции и имеет размер 8B параметров. Поддерживаются варианты языковой части FP16, Q8_0 и Q4_K_M, а vision encoder доступен в FP16 и Q8_0. Заявлены нативный контекст 256K с возможностью расширения до 1M, работа с длительными видео и распознавание текста на 32 языках. Архитектурные особенности включают Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Модель поддерживает мультимодальный ввод изображений и видео, однако конкретный список языков помимо OCR в README не указан. GGUF-файлы совместимы с llama.cpp, Ollama и другими инструментами экосистемы GGUF и могут запускаться на CPU, NVIDIA GPU через CUDA, Apple Silicon через Metal и Intel GPU через SYCL. Доступны разные уровни точности для компромисса между качеством, скоростью и требованиями к памяти; при этом производительность зависит от выбранной квантизации и оборудования. Модель распространяется по лицензии Apache-2.0.

Seed-OSS-36B-Base — базовая большая языковая модель команды ByteDance Seed, опубликованная под лицензией Apache-2.0. Это плотная авторегрессионная модель на архитектуре Seed-OSS с 31,7 млрд параметров по метаданным; в карточке семейства указаны RoPE, групповое внимание GQA, RMSNorm и активация SwiGLU. Модель принимает текст и генерирует текст. Модель предназначена для дообучения и применения в задачах общего назначения, рассуждений, работы с длинными контекстами и построения агентных систем. Она обучена на 12 трлн токенов, нативно поддерживает контекст до 524 288 токенов и позволяет управлять бюджетом рассуждений. Версия Base включает синтетические инструкционные данные в предобучение; команда также выпустила вариант без этих данных и отдельную версию Instruct. Семейство ориентировано на международное использование. Карточка рекомендует выбирать длину рассуждений с учётом сложности задачи; результаты зависят от бюджета и настроек генерации. Для запуска доступны Transformers и vLLM.

AI21 Jamba 1.5 Mini — языковая модель общего назначения от AI21, построенная на гибридной архитектуре Jamba, сочетающей Transformer и Mamba (SSM), с механизмом Mixture of Experts. В README указаны 12 млрд активных и 52 млрд общих параметров и контекст до 256 тыс. токенов. Модель предназначена для диалогов и следования инструкциям, включая генерацию текста, работу с длинными документами, структурированный вывод в JSON, вызов инструментов и генерацию ответов с опорой на предоставленный контекст. Модель поддерживает английский, испанский, французский, португальский, итальянский, нидерландский, немецкий, арабский и иврит; основной язык не выделен. В карточке заявлены высокая скорость вывода и эффективная работа с длинным контекстом. Для запуска нужны совместимые CUDA-ускорители и оптимизированные реализации Mamba; в FP16/BF16 Mini не помещается на одну GPU с 80 ГБ памяти, а режим ExpertsInt8 позволяет развернуть её на такой GPU. Модель распространяется по Jamba Open Model License, допускающей исследования и коммерческое использование на её условиях. README предупреждает, что эта версия подлежит устареванию с 6 мая 2024 года.

Apriel-1.5-15b-Thinker — мультимодальная модель рассуждений из серии Apriel SLM, разработанная ServiceNow. Модель с плотной архитектурой на 15 млрд параметров принимает текст и изображения и генерирует ответы в формате диалога; её назначение включает рассуждения по тексту и изображениям, помощь с кодом, ответы на вопросы и вызов инструментов. Для обработки изображений используется архитектура LlavaForConditionalGeneration. Модель прошла продолжительное предварительное обучение на текстовых и визуальных данных, а последующее обучение с учителем выполнялось только на тексте; RL и дообучение на изображениях не применялись. Она рассчитана на общие инструкции, многошаговые задачи и агентные сценарии. Разработчики отмечают высокие результаты на ряде тестов, а также повышенный расход токенов и более долгие ответы из-за развёрнутого рассуждения по умолчанию. Лицензия — MIT. Разработчики предупреждают, что ответы могут содержать фактические ошибки и предвзятость, качество ниже на языках, представленных в обучении слабее, а в медицинских, юридических, финансовых и других критически важных сценариях требуется проверка человеком.

RedHatAI/gemma-4-26B-A4B-it-NVFP4 — квантизированная версия мультимодальной модели google/gemma-4-26B-A4B-it, разработанная RedHatAI на базе модели Google. Она предназначена для генерации текста, диалоговых и текстовых задач, обработки изображений с выдачей текстового ответа, а также вызова инструментов и function calling. Модель поддерживает режим рассуждений и ориентирована на развёртывание через vLLM. Архитектура модели обозначена как Gemma4ForConditionalGeneration. На вход она принимает текст и изображения, на выходе генерирует текст. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат NVFP4/FP4: для весов используется размер группы 16, для активаций — локальное масштабирование по группам. Vision tower, эмбеддинги, выходная голова и маршрутизаторы MoE сохранены в исходной точности. Квантизация сокращает число бит на параметр с 16 до 4 и примерно на 75% уменьшает размер модели на диске и требования к GPU-памяти. В документации для vLLM указан максимальный контекст 32768 токенов. Сильные стороны модели — мультимодальность, поддержка рассуждений и вызова инструментов, а также сниженные требования к памяти по сравнению с неквантизированной версией. Квантизация может приводить к некоторому снижению качества относительно исходной модели; README приводит результаты сравнительных оценок, но не содержит полного описания языков и всех ограничений. Для вызова инструментов и режима рассуждений требуются соответствующие настройки vLLM и парсеры Gemma 4. Модель распространяется по лицензии Apache 2.0.

OnlyTextLLMs выпустила текстовую версию Gemma 4 31B IT, полученную из google/gemma-4-31B-it удалением компонентов обработки изображений и аудио, а также связанных мультимодальных токенов. Текстовая часть модели и языковая голова сохранены; это плотная авторегрессионная модель Gemma4ForCausalLM с 27,4 млрд параметров по метаданным и весами bfloat16. Модель предназначена для диалогов и генерации текста. Она поддерживает контекст длиной до 262 144 токенов и работает через библиотеку Transformers. Обучение не проводилось: репозиторий содержит производную версию весов Google, из которой удалены мультимодальные компоненты. Модель распространяется по лицензии Apache 2.0. После удаления аудио- и визуальных компонентов она принимает текст и выдаёт текст; возможности исходной мультимодальной модели для анализа изображений и аудио здесь недоступны.

cyankiwi/GLM-4.5-Air-AWQ-4bit — это 4-битная AWQ-квантизованная версия модели GLM-4.5-Air, разработанной Zhipu AI (zai-org). Модель относится к семейству фундаментальных моделей для интеллектуальных агентов и предназначена для генерации текста, рассуждений, программирования и взаимодействия с инструментами. GLM-4.5-Air использует гибридный режим рассуждений: thinking mode подходит для сложных задач и работы с инструментами, а non-thinking mode — для быстрых ответов. Модель имеет 106 млрд общих параметров и 12 млрд активных параметров, что указывает на разреженную архитектуру с активацией части параметров при обработке запроса. Заявлены поддерживаемые языки English и Chinese; модель относится к текстовым моделям и используется через библиотеку Transformers. Размер контекста в предоставленных данных не указан. 4-битная AWQ-квантизация снижает требования к памяти и может упростить локальный запуск, однако README не содержит количественной оценки влияния квантизации на качество или полного перечня совместимых аппаратных платформ. Ограничения по производительности, точности и применению в отдельных сценариях также не раскрыты. Модель распространяется по лицензии MIT, допускающей коммерческое использование и вторичную разработку.

GLM-5.3-Flash-Alis-MLX-4bit — это 4-битная сборка модели GLM-5.3-Flash, разработанной Zhipu AI (zai-org), адаптированная для выполнения через MLX на устройствах Apple Silicon. Модель предназначена для генерации текста и локального инференса, включая сценарии программирования, работы с прозой, анализа табличных данных и решения математических задач. Базовая модель имеет архитектуру glm5_next: 320B параметров, из которых 18B активируются на токен (320B-A18B), mixture-of-experts с 288 экспертами, 34 слоями линейного внимания и 11 слоями DSA, а также механизмом mHC. Данная версия получена потоковой деквантизацией официального релиза FP8 и сохраняет маршрутизатор MoE и correction bias в формате FP32. В README также указана поддержка спекулятивного декодирования и двухузлового tensor parallelism, однако часть этих режимов относится к отдельным сборкам или экспериментальной инфраструктуре, а не непосредственно к опубликованному checkpoint. К сильным сторонам относятся существенно сниженный объём хранения по сравнению с полной моделью, оптимизация под MLX и высока скорость генерации на мощных системах Apple Silicon; для конфигурации M3 Ultra 512GB заявлялась скорость около 29 токенов в секунду при обычном декодировании. Ограничениями являются очень высокие требования к памяти, зависимость производительности от аппаратной конфигурации и MLX-окружения, а также экспериментальный статус некоторых режимов параллельного и спекулятивного декодирования. Модель распространяется по лицензии MIT.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-AWQ — мультимодальная языковая модель, основанная на архитектуре GLM-5.3-Flash. Исходную архитектуру разработала Zhipu AI / ZAI, uncensored-веса подготовила dealignai, а Solstice-AI выпустила эту AWQ-квантизованную версию. Модель предназначена для генерации и анализа текста, программирования, математических и логических задач, а также понимания изображений и видео. Заявлены поддерживаемые языки английский и китайский. Модель использует MoE-архитектуру с 320 млрд общих параметров, 288 маршрутизируемыми экспертами и примерно 18 млрд активных параметров на токен. Применяется формат W4A16 AWQ: веса квантизованы до INT4 с group_size=128, а активации сохраняются в 16-битном формате. Визуальные компоненты, механизмы внимания, маршрутизаторы MoE, эмбеддинги и языковая голова оставлены без квантизации. В README указана поддержка контекста до 131 072 токенов, а также speculative decoding с DFlash 2. К сильным сторонам относятся сочетание больших возможностей MoE-модели с уменьшенным размером весов, мультимодальность, поддержка длинного контекста и сценариев программирования, математики, анализа изображений и видео. Ограничения включают очень высокую общую ёмкость модели и, как следствие, значительные требования к памяти и вычислительным ресурсам, несмотря на INT4-квантизацию; для запуска требуются совместимые движки, например vLLM или SGLang. Показатели качества и отсутствие отказов приведены авторами README и не подтверждены независимой проверкой. Лицензия — MIT.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-NVFP4 — мультимодальная версия GLM-5.3-Flash с архитектурой от Zhipu AI / ZAI, некорректированными в сторону отказов весами от dealignai и упаковкой NVFP4 от Solstice-AI. Модель предназначена для диалогов, рассуждений, программирования, математических задач, анализа изображений и понимания видео. Заявлена поддержка контекста до 1 048 576 токенов. Это foundation-модель общим размером 320 млрд параметров на основе MoE с 288 маршрутизируемыми экспертами и примерно 18 млрд активных параметров на токен. Используется смешанная точность W4A16: веса маршрутизируемых экспертов представлены в 4-битном формате NVFP4, а attention-слои, общие эксперты и активации сохраняются в BF16/FP16. Мультимодальный модуль включает 24-слойный ViT и проектор с размерностью 10 240; заявлена обработка изображений высокого разрешения и временных последовательностей видео. В комплект также входит DFlash 2 для speculative decoding. К сильным сторонам относятся большой контекст, нативные возможности работы с изображениями и видео, сниженные требования к памяти благодаря квантизации и потенциальное ускорение генерации с DFlash 2. Модель позиционируется для NVIDIA Blackwell, Hopper, Ada Lovelace и Ampere, включая B200, H100/H200, RTX 4090/L40S и A100. Ограничениями являются высокая общая размерность модели, зависимость производительности от совместимого ПО и GPU, а также отсутствие встроенного отказного поведения: это может быть полезно для исследовательских и специализированных сценариев, но повышает риски небезопасного применения. Приведённые в карточке результаты бенчмарков следует считать заявленными авторами модели. В карточке указана лицензия MIT; отдельно отмечены атрибуция базовой архитектуры Zhipu AI / ZAI, калибровка dealignai и упаковка Solstice-AI.

Hermes-2-Pro-Llama-3-8B-GGUF — квантизированная GGUF-версия языковой модели Hermes 2 Pro, разработанной NousResearch на основе Meta Llama 3 8B. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для текстового диалога, генерации текста и инструкций, а также сценариев с function calling и выдачей структурированных данных в JSON. Модель содержит около 8 миллиардов параметров, работает в текстовой модальности и ориентирована преимущественно на английский язык. В карточке указаны дообучение с применением DPO и RLHF, использование синтетических данных, дистилляции и датасета OpenHermes-2.5, а также формат запросов ChatML. Размер контекста в предоставленных данных не указан. Главное преимущество этой версии — доступность большого набора квантизаций с разным балансом качества, размера и требований к памяти: от Q8_0 до низкоразрядных IQ- и Q-вариантов. Более качественные варианты Q6_K и Q5_K_M рекомендованы для большинства задач, тогда как низкоразрядные версии подходят для систем с ограниченной памятью, но могут заметно уступать в качестве. Модель распространяется по лицензии Apache 2.0.

lyf/Huihui-gemma-4-31B-it-abliterated-v2-NVFP4 — мультимодальная 31-миллиардная модель, представляющая собой NVFP4-квантизированную версию Huihui-gemma-4-31B-it-abliterated-v2 от huihui-ai, созданную на базе Google Gemma 4 31B IT. Релиз предназначен для диалогов, генерации и анализа текста, следования инструкциям, программирования, структурированного вывода, а также обработки изображений и видео. В README также указана abliteration-интервенция, направленная на удаление отказов модели. Модель поддерживает сценарии «текст—текст», «изображение—текст» и «видео—текст»; аудио не поддерживается, поскольку в 31B-чекпойнте отсутствует аудиоэнкодер. Визуальная башня сохранена в формате BF16, а большинство линейных слоёв текстового стека, включая слои self-attention, квантизированы в NVFP4. Эмбеддинги, lm_head и визуальная часть также остаются в BF16. Размер файлов составляет около 19,5 ГБ, что позволяет запускать модель на одной видеокарте RTX 5090 с 32 ГБ памяти; заявленная скорость декодирования — около 69 токенов в секунду. К сильным сторонам относятся уменьшенный размер, сохранение мультимодальных возможностей исходной модели, улучшенное по сравнению с предыдущей версией значение perplexity и более строгое следование инструкциям по результатам локального тестирования. Ограничения связаны с отсутствием аудиоподдержки, требовательностью к совместимому программному стеку и аппаратному обеспечению, а также возможным влиянием агрессивной NVFP4-квантизации на качество. Для работы рекомендуется vLLM с поддержкой Gemma 4 и NVFP4. Лицензия указана как gemma.

Карточка модели kakaocorp/kanana-2-30b-a3b-thinking-2601 на Hugging Face совпадает с карточкой kakaocorp/kanana-2-30b-a3b-instruct-2601, поэтому описание составлено по ней. Kanana-2-30B-A3B-Instruct-2601 — инструктивная языковая модель компании Kakao для диалогов и сценариев агентного ИИ. Она предназначена для следования сложным инструкциям, логических рассуждений и вызова инструментов; модель можно развернуть, например, через vLLM или SGLang с поддержкой выбора инструментов. Модель основана на архитектуре DeepSeek V3 с механизмом внимания MLA и разреженной смесью экспертов (MoE): всего 30 млрд параметров, из которых активируются около 3 млрд. Контекст составляет до 32 768 токенов. Семейство поддерживает корейский, английский, японский, китайский, тайский и вьетнамский языки. README указывает лицензию как отличную от стандартных вариантов, поэтому перед использованием следует проверить условия на странице репозитория Hugging Face. Для обработки контекста свыше 32 768 токенов требуется отдельно настроить YaRN; такая настройка может повлиять на качество коротких текстов. Метаданные указывают 2,9 млрд параметров, что расходится с описанием серии в README (30 млрд всего и около 3 млрд активных).