I.11Классификация, ранжирование и сопоставление

Gemma 4 12B IT QAT Q4_0 Unquantized — мультимодальная инструкционная модель семейства Gemma, разработанного Google DeepMind. Это чекпойнт на 12 млрд параметров, полученный из google/gemma-4-12B-it с применением Quantization-Aware Training; в данном репозитории опубликованы веса safetensors, извлечённые из QAT-конвейера в формате половинной точности, а не готовая к запуску квантизованная сборка. Модель предназначена для диалога, генерации и анализа текста, рассуждений, программирования, работы с изображениями, видео и аудио. Модель принимает текст и изображения, может анализировать видео по последовательности кадров; для варианта 12B также заявлена поддержка аудио, включая распознавание речи и перевод речи в текст. Она генерирует текст, поддерживает вызов функций и контекст до 256 тысяч токенов. Семейство рассчитано на многоязычные сценарии: карточка сообщает о поддержке более 35 языков и обучении на более чем 140 языках, но не перечисляет языки отдельно для этого чекпойнта. QAT-обучение призвано сохранить качество, близкое к bfloat16, при снижении требований к памяти в соответствующих квантованных вариантах. Этот репозиторий содержит именно неупакованные QAT-веса, поэтому для непосредственного запуска может потребоваться собственная компиляция или подходящая среда. Лицензия — Apache 2.0.

Gemma 4 26B A4B IT QAT Q4_0 Unquantized — мультимодальная инструктивная модель семейства Gemma 4, разработанная Google DeepMind. Это вариант Gemma 4 26B A4B IT с весами, полученными из конвейера обучения с учётом квантования (QAT): веса сохранены в половинной точности, а не в готовом квантованном формате. Репозиторий предназначен для последующей компиляции и исследовательской работы с QAT-чекпойнтами. Модель принимает текст и изображения и генерирует текст. Она подходит для диалогов, рассуждений, программирования, анализа изображений, распознавания текста в документах и на изображениях, понимания диаграмм и интерфейсов, а также агентных сценариев с вызовом инструментов. Для варианта 26B A4B README указывает контекст до 256K токенов; семейство поддерживает более 140 языков в обучающих данных. Для Gemma 4 заявлены гибридное внимание с локальными и глобальными слоями и режим рассуждений; вариант 26B A4B относится к MoE-линейке семейства. QAT-чекпойнты призваны снижать требования к памяти при сохранении качества, близкого к bfloat16, однако этот конкретный репозиторий содержит не готовый GGUF или другой формат для прямого развёртывания, а веса для последующей обработки. Лицензия — Apache 2.0. Аудио для этой модели не заявлено: в README оно поддерживается только вариантами E2B, E4B и 12B.

unsloth/gemma-4-31B-it-NVFP4 — квантизированная версия мультимодальной instruction-tuned модели Gemma 4 31B, разработанной Google DeepMind и подготовленной Unsloth в формате NVFP4. Модель предназначена для обработки текста и изображений с генерацией текста, а также для reasoning, программирования, агентских сценариев и вызова функций. Модель использует плотную архитектуру с 30,7 млрд параметров, 60 слоями и гибридным механизмом внимания, сочетающим локальное sliding window attention с глобальным вниманием; размер окна — 1024 токена. Контекстное окно составляет до 256K токенов, словарь — 262K элементов. Поддерживается более 140 языков. Для визуального ввода используется vision encoder примерно на 550 млн параметров; аудио для версии 31B не заявлено. Квантизация NVFP4 снижает требования к памяти и ориентирована на эффективный запуск на совместимом GPU, в частности через vLLM. Сильные стороны модели — большое контекстное окно, мультимодальное понимание текста и изображений, улучшенные возможности reasoning и coding, native function calling и поддержка system prompt. Ограничения связаны с отсутствием аудиовхода у версии 31B, требованиями к совместимому программному и аппаратному стеку NVFP4, а также с тем, что README не приводит подробные результаты бенчмарков и оценки качества именно этой квантизированной сборки. Модель распространяется по лицензии Apache 2.0.

Mistral Small 3 Instruct 2501 — плотная причинная языковая модель Mistral AI Team с 23,4 млрд параметров, представленная в формате safetensors и предназначенная для генерации текста по инструкциям. Она подходит для диалоговых агентов, рассуждений, вызова функций, формирования JSON и локального инференса; в README также отмечены сценарии тонкой настройки под предметные области и обработка чувствительных данных на локальной инфраструктуре. Модель поддерживает контекст до 32 768 токенов и, согласно карточке, десятки языков, включая английский, французский, немецкий, испанский, китайский и японский. В README заявлены следование системным инструкциям и агентные возможности. Для работы с GPU карточка указывает потребность более чем в 60 ГБ видеопамяти; локальный запуск на меньшем объёме памяти возможен после квантизации. Модель выпущена под лицензией Apache 2.0, допускающей коммерческое и некоммерческое использование.

Mistral-Small-3.2-24B-Instruct-2506-bnb-4bit — 4-битная квантованная версия инструкционной мультимодальной модели Mistral-Small-3.2-24B-Instruct-2506 от Mistral AI. Модель предназначена для диалоговых ассистентов, выполнения инструкций, генерации текста и кода, решения STEM-задач, вызова функций и анализа изображений, документов, графиков и диаграмм. Модель содержит 24 млрд параметров и поддерживает текстово-графический сценарий image-text-to-text. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. По сравнению с Mistral-Small-3.1 улучшены следование точным инструкциям, устойчивость к повторяющимся и бесконечным генерациям, а также шаблон function calling. В тестах модель показывает сильные результаты в генерации кода, следовании инструкциям, обработке документов и диаграмм, однако в отдельных vision-бенчмарках уступает предыдущей версии. Размер контекста в README не указан. Модель рекомендуется запускать через vLLM или Transformers; для корректной работы с инструментами требуются совместимые настройки Mistral и vLLM. Квантование bnb-4bit снижает требования к памяти по сравнению с полноформатными вариантами, но точные требования для этой сборки не приведены. Для повышения качества рекомендуется низкая температура генерации и системный промпт. Лицензия — Apache-2.0.

BCCard/Qwen3-30B-A3B-FP8-Dynamic — текстовая языковая модель, разработанная BC Card на основе Qwen/Qwen3-30B-A3B. Она предназначена для генерации текста, рассуждений, function calling, многоязычного следования инструкциям, перевода и создания предметно-ориентированных решений посредством дообучения. Модель принимает текст на вход и генерирует текст на выходе; поддержка других модальностей не указана. Архитектура модели — Qwen3MoeForCausalLM. Веса и активации линейных операторов в блоках Transformer квантизированы в FP8: для весов используется симметричная статическая поканальная схема, для активаций — симметричная динамическая потокеновая схема. Квантизация примерно вдвое снижает требования к GPU-памяти и размер модели на диске, а также может примерно вдвое увеличить пропускную способность матричных умножений. По данным оценки OpenLLM v1, средний результат составляет 67,56 против 67,62 у исходной модели, что указывает на почти полное сохранение качества. Для эффективного развёртывания рекомендуется использовать vLLM, включая OpenAI-совместимый режим сервинга. Точный размер контекста и перечень поддерживаемых языков в README не указаны. Модель выпущена 5 мая 2025 года, версия 1.0. Лицензия — Apache-2.0; использование не должно нарушать применимое законодательство и торговые ограничения.

Qwen3-32B-AWQ — квантизированная 4-битная AWQ-версия причинной языковой модели Qwen3-32B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с интеграцией внешних инструментов. Она поддерживает переключение между режимом рассуждения для сложных задач и нерезультирующим режимом для более эффективного общего диалога в рамках одной модели. Модель содержит 32,8 млрд параметров, из них 31,2 млрд без учёта embedding, и имеет 64 слоя. Используется Grouped Query Attention: 64 головы для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с YaRN заявлена поддержка до 131 072 токенов. Модель поддерживает более 100 языков и диалектов, ориентирована на многоязычное следование инструкциям и перевод. AWQ-квантизация снижает требования к памяти, однако может влиять на качество по сравнению с полноразмерной версией; README также не содержит подробных результатов бенчмарков и требований к аппаратному обеспечению. Для режима рассуждения модель формирует промежуточное содержимое в блоке <think>...</think>; в README рекомендованы определённые параметры генерации и не рекомендуется жадное декодирование. Указанная лицензия — Apache 2.0.

Eslzzyl/Qwen3-4B-Instruct-2507-AWQ — квантованная версия instruct-модели Qwen3-4B-Instruct-2507, разработанной командой Qwen и опубликованной пользователем Eslzzyl. Модель предназначена для генерации текста, диалогов и выполнения инструкций, включая задачи логического рассуждения, понимания текста, математики, науки, программирования, использования инструментов и агентских сценариев. Это каузальная языковая модель примерно с 4 млрд параметров, из которых 3,6 млрд не относятся к embedding-слою. Она содержит 36 слоёв и использует Grouped-Query Attention с 32 головами Q и 8 головами KV. Поддерживает контекст до 262 144 токенов, работает только в non-thinking-режиме и не формирует блоки <think></think>. Модель ориентирована на многоязычные задачи и показывает улучшения в следовании инструкциям, открытой генерации, знаниях, рассуждениях, кодировании и tool calling. Версия AWQ квантизована с помощью AutoAWQ, что может снизить требования к памяти и облегчить развёртывание. Она совместима с NVIDIA Turing GPU с SM 75 и может использоваться через lmdeploy; для исходной модели также указана поддержка современных Transformers, vLLM и SGLang. Ограничениями являются отсутствие режима пошагового рассуждения и потенциально высокие требования к памяти при максимальном контексте, которые можно уменьшить сокращением длины контекста. Лицензия — Apache 2.0.

AxionML/Qwen3.5-4B-NVFP4 — мультимодальная модель для работы с текстом и изображениями, разработанная AxionML на основе Qwen/Qwen3.5-4B. Модель предназначена для открытого использования, развёртывания и высокопроизводительного inference-сервинга, включая сценарии визуального понимания, рассуждений, программирования и агентских задач. Это causal language model с vision encoder и архитектурой, сочетающей Gated Delta Networks и разреженный Mixture-of-Experts. Модель содержит около 4 млрд параметров, 32 слоя, скрытую размерность 2560 и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Линейные слои используют NVFP4-квантизацию весов и активаций с помощью NVIDIA TensorRT Model Optimizer, что уменьшает размер хранения и потребление GPU-памяти примерно в четыре раза по сравнению с BF16. К сильным сторонам относятся сочетание мультимодальности, длинного контекста и сниженные требования к памяти, что делает модель подходящей для эффективного локального и серверного развёртывания на совместимом оборудовании. К ограничениям относятся потенциальная потеря качества из-за 4-битной квантизации и необходимость аппаратной и программной поддержки NVFP4, в частности соответствующих GPU и средств инференса. Модель распространяется по лицензии Apache 2.0 и разрешена для коммерческого и некоммерческого использования.

T-pro-it-2.0 — плотная языковая модель семейства Qwen3, разработанная t-tech на базе Qwen/Qwen3-32B с продолженным предобучением и этапами выравнивания. Модель содержит 29,7 млрд параметров, рассчитана на генерацию текста и диалог; в карточке заявлена поддержка русского языка и контекст до 40 960 токенов по метаданным. README указывает нативную длину контекста 32 768 токенов. Модель предназначена для русскоязычных запросов общего назначения, включая рассуждения, ответы на вопросы и программирование. Обучение включало 40 млрд токенов инструкционных данных, около 500 тыс. примеров для supervised fine-tuning и около 100 тыс. примеров preference tuning; предусмотрены режимы с рассуждением и без него. В README приведено сравнение с Qwen 3 32B и другими моделями на русскоязычных бенчмарках. Для инференса рекомендован SGLang; настройки генерации предлагается выбирать с учётом режима и сложности запроса. Модель распространяется по лицензии Apache-2.0. Разработчики предупреждают, что перед промышленным или коммерческим применением необходимы дополнительная проверка, обучение и контроль ответов.

A.X K2 — крупная языковая модель класса Mixture-of-Experts, разработанная SK Telecom в рамках южнокорейского государственного проекта Sovereign AI. Это преемник A.X K1 и агентная foundation-модель, обученная с нуля для понимания корейского языка и культуры, а также работы с многоязычными и программными данными. Модель предназначена для генерации текста, следования инструкциям, сложного рассуждения, решения задач и агентных сценариев. Она поддерживает управляемые режимы Think для многошагового рассуждения и Non-Think для кратких ответов с низкой задержкой. Используются английский, корейский, китайский, японский и испанский языки. Архитектура представляет собой decoder-only Transformer с 688 млрд параметров, из которых 33 млрд активируются на каждом токене: 256 маршрутизируемых экспертов, один общий эксперт и выбор восьми экспертов для токена. Модель содержит 61 слой, 64 attention heads и поддерживает контекст до 262 144 токенов; длина 256K достигнута расширением с 128K с помощью YaRN. Ключевые особенности A.X K2 — Multi-head Latent Attention со Sparse Gated Attention для более эффективной работы с длинным контекстом, Gated Norm для стабильного обучения и подавления выбросов активаций, а также нативное обучение в FP8. Чекпойнт предоставляется в block-scaled FP8 E4M3, что уменьшает требования к памяти и подходит для эффективного FP8-инференса без отдельной постквантизации. Ограничения включают высокие системные требования, обусловленные общим объёмом параметров, а также потенциальные риски и ограничения качества, свойственные большим языковым моделям; конкретные результаты бенчмарков в представленном README не указаны. Модель распространяется по лицензии Apache-2.0.

C4AI Command A в репозитории unsloth — производная версия модели Cohere Command A, разработанной Cohere и Cohere For AI. Это авторегрессионная плотная трансформерная языковая модель на 111,1 млрд параметров для диалога, генерации текста, корпоративных сценариев, работы с документами и агентных приложений. Модель поддерживает вызов инструментов через диалоговый шаблон и специально обучена выполнять заключительный этап RAG, включая ответы с цитатами по переданным фрагментам документов. Модель принимает и генерирует только текст. Её контекстное окно составляет 262 144 токена. Архитектура использует скользящее внимание с окном 4096 токенов в трёх слоях и глобальное внимание в четвёртом; обучение включало контролируемую настройку и обучение предпочтениям. Заявлена поддержка 23 языков, включая русский, английский, французский, китайский и арабский. Модель подходит для многоязычного чата, ответов с опорой на документы, суммаризации, извлечения информации и задач с использованием инструментов. Для запуска требуются значительные вычислительные ресурсы, несмотря на заявленную разработчиками возможность развёртывания на двух GPU. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование; также требуется соблюдать политику допустимого использования C4AI.

EXAONE-4.0-32B-AWQ — квантованная версия языковой модели EXAONE 4.0, разработанная LG AI Research. Это авторегрессионная модель для генерации текста, поддерживающая обычный режим работы и режим рассуждений, а также агентное использование с вызовом инструментов. Модель предназначена для диалоговых систем, решения сложных задач, генерации и обработки текста и сценариев, требующих многошагового рассуждения. Модель содержит 30,95 млрд параметров без учёта эмбеддингов, 64 слоя и использует архитектуру GQA с 40 attention heads и 8 KV heads. Для 32B-версии применяется гибридное внимание: локальное sliding-window attention и глобальное full attention в соотношении 3:1, а также архитектурный подход QK-Reorder-Norm. Контекстное окно составляет 131 072 токена, размер словаря — 102 400. Поддерживаются английский, корейский и испанский языки. Версия AWQ использует 4-битное группавое weight-only квантование W4A16g128, что снижает требования к памяти по сравнению с полноразмерной моделью. Сильные стороны модели — сочетание общего режима генерации и reasoning mode, поддержка многоязычных сценариев, длинного контекста и tool calling. Ограничения включают необходимость корректной настройки параметров sampling в режиме рассуждений, а также потенциальные потери качества, связанные с 4-битным квантованием. Модель распространяется по лицензии EXAONE; в карточке указано обозначение лицензии other и ссылка на файл LICENSE.

unsloth/gemma-3-27b-it-bnb-4bit — 4-битная версия instruction-tuned модели Gemma 3 27B, подготовленная Unsloth на основе модели Google Gemma 3 27B IT. Разработчик исходной модели — Google DeepMind. Модель имеет открытые веса и предназначена для запуска и дообучения с использованием Transformers, в том числе в средах с ограниченными ресурсами. Модель принимает текстовые запросы и изображения, а генерирует текст. Она подходит для ответов на вопросы, суммаризации, рассуждений, генерации текста и анализа изображений. Для версии 27B заявлены контекст до 128K токенов и максимальный объём вывода 8192 токена; изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов. Поддерживается более 140 языков, включая английский, указанный в метаданных модели. Ключевое преимущество этой версии — 4-битное представление, снижающее требования к памяти и упрощающее локальный запуск и дообучение по сравнению с полноразмерной моделью. При этом квантование может влиять на точность и качество ответов, а мультимодальные возможности, производительность и фактическая совместимость зависят от используемого программного обеспечения и оборудования. Модель распространяется по лицензии Gemma; перед использованием необходимо учитывать условия Google Gemma Terms of Use.

QuantTrio/gemma-4-31B-it-AWQ — это квантизированная версия инструкционно дообученной мультимодальной модели google/gemma-4-31B-it, разработанной Google DeepMind. Репозиторий QuantTrio содержит AWQ-квантизацию, выполненную методом data-free quantization без калибровочного датасета. Модель принимает текст и изображения и генерирует текст, поэтому предназначена для диалогов, анализа изображений, генерации текста, программирования, рассуждений и агентских сценариев с вызовом инструментов. Базовая модель относится к плотной архитектуре Gemma 4 и содержит около 30,7 млрд параметров, 60 слоёв и словарь размером 262 тысячи токенов. Она использует гибридный механизм внимания с чередованием локального sliding-window attention и глобального внимания; размер локального окна составляет 1024 токена. Заявленное контекстное окно — до 256 тысяч токенов. Для мультимодальной обработки используется визуальный энкодер примерно на 550 млн параметров; аудио для версии 31B не заявлено. Семейство Gemma 4 поддерживает более 140 языков, однако отдельные характеристики языкового покрытия именно этой сборки в README не уточняются. К сильным сторонам относятся большой контекст, поддержка изображений, возможности рассуждения, кодирования, native function calling и оптимизация для эффективного серверного развёртывания через vLLM. AWQ-квантизация уменьшает размер модели: указанный размер файлов составляет около 20 GiB, что может снизить требования к видеопамяти по сравнению с полной точностью. Ограничениями являются возможная потеря качества из-за квантизации, необходимость совместимых версий vLLM и Transformers, CUDA 12.8 и конфигурации с tensor parallelism; фактические требования зависят от выбранных параметров запуска и оборудования. Модель распространяется по лицензии Apache 2.0 с дополнительными условиями лицензии Gemma 4, ссылка на которую указана в README.

Mistral-Small-24B-Instruct-2501-unsloth-bnb-4bit — это 4-битная квантованная версия Mistral Small 3 (2501), подготовленная Unsloth на базе Mistral-Small-24B-Instruct-2501 от команды Mistral AI. Модель содержит 24 млрд параметров и предназначена для локального запуска, диалоговых приложений и задач, требующих высокой качества ответов при ограниченных ресурсах. После квантования заявлена возможность размещения на одной видеокарте RTX 4090 или MacBook с 32 ГБ оперативной памяти. Модель ориентирована на быстрых разговорных агентов, вызов функций, генерацию JSON, предметных помощников после дообучения и локальную обработку чувствительных данных. Она поддерживает десятки языков, включая английский, французский, немецкий, испанский, итальянский, китайский, японский, корейский, португальский, нидерландский и польский. Доступно контекстное окно 32K токенов, а также поддержка системных инструкций. Используется токенизатор Tekken со словарём размером 131 тысяча токенов. К сильным сторонам относятся агентские возможности, встроенный вызов функций, структурированный вывод, мультиязычность, развитые диалоговые и рассуждательные способности, а также снижение требований к памяти благодаря 4-битному представлению. Ограничениями являются зависимость качества и скорости от аппаратной конфигурации и возможные потери точности, связанные с квантованием; конкретные показатели для данной квантованной сборки в README не приведены. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование и модификацию.

NVIDIA-Nemotron-Nano-9B-v2-FP8 — языковая модель NVIDIA для диалогов, следования инструкциям и задач с рассуждением. Это FP8-квантизированная версия NVIDIA-Nemotron-Nano-9B-v2; гибридная архитектура Nemotron-H сочетает слои Mamba-2 и MLP с четырьмя слоями внимания. В FP8 переведены слои Mamba и MLP, а слои внимания и компоненты Conv1d сохранены в BF16. Метаданные указывают 15,1 млрд параметров и контекст до 131 072 токенов. Модель принимает и генерирует текст, поддерживает чат и интерфейс вызова инструментов. Режим рассуждения можно включать или отключать через системный промпт; она подходит для чат-ботов, AI-агентов, RAG-систем, программирования и типовых задач по инструкциям. Основные языки по карточке — английский, немецкий, испанский, французский, итальянский и японский; README также перечисляет корейский, португальский, русский и китайский как поддерживаемые во входных данных. Доступна коммерческая эксплуатация; в метаданных лицензия обозначена как other. Для инференса указана оптимизация под GPU NVIDIA; README предупреждает, что в vLLM точность может снизиться без параметра mamba_ssm_cache_dtype float32.

NVIDIA-Nemotron-Nano-9B-v2-NVFP4 — квантованная модель NVIDIA Corporation для диалогов, следования инструкциям и задач с рассуждением. Это вариант NVIDIA-Nemotron-Nano-9B-v2 с NVFP4-квантизацией и восстановлением точности методом дистилляции с учетом квантования. Архитектура Nemotron-Hybrid объединяет слои Mamba-2, MLP и четыре слоя Attention; заявленный контекст — до 128K токенов. Модель принимает текст и генерирует текст. Режим рассуждений можно управлять системным или пользовательским маркером: генерация рассуждений обычно помогает на сложных запросах, а ответ без промежуточных рассуждений может быть менее точным. Модель поддерживает английский, немецкий, испанский, французский, итальянский и японский; README также заявляет поддержку китайского, корейского, португальского и русского, но не описывает её отдельно. Модель предназначена для чат-ботов, AI-агентов, RAG-систем, программирования и общих задач следования инструкциям. Для инференса рекомендуются NVIDIA GPU и поддерживаются Transformers, vLLM и TRT-LLM; в vLLM неверный тип кэша Mamba может снизить точность. В README указано, что модель готова к коммерческому использованию, однако точные условия лицензии в предоставленных данных не раскрыты.

lmstudio-community/Qwen3-32B-GGUF — квантизированная версия языковой модели Qwen3-32B, разработанной командой Qwen. Формат GGUF подготовлен bartowski на основе llama.cpp, релиз b5200. LM Studio распространяет эту модель в рамках общественной программы, но не является её разработчиком. Модель предназначена для генерации текста, следования инструкциям, многоходовых диалогов, творческого письма, ролевых сценариев, программирования, математических задач и рассуждений общего назначения. Поддерживаются режимы с рассуждением и без него; режим /no_think позволяет отключить рассуждения добавлением соответствующего параметра в конец запроса. Заявлена поддержка более 100 языков и диалектов, а также агентских сценариев. Модель имеет 32 млрд параметров и поддерживает контекст до 131 072 токенов с использованием YaRN; значение по умолчанию составляет 32 000 токенов. К ключевым преимуществам относятся расширенные возможности рассуждения, программирования, математики, диалогового взаимодействия и следования инструкциям. Ограничения включают возможные неточные, вредные или неподходящие ответы, а также отсутствие в README сведений о точном уровне квантизации, требованиях к оборудованию и характеристиках производительности. Модель распространяется по лицензии Apache 2.0.

duolaf/Qwen3.5-27B-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-27B, разработанной командой Qwen; репозиторий подготовлен с использованием инструментов и вариантов квантования Unsloth. Модель предназначена для локального запуска и поддерживает задачи работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание, агентские сценарии, работу с длинным контекстом и вызов инструментов. Модель представляет собой каузальную языковую модель с vision encoder и содержит 27 млрд параметров. В её основе лежит гибридная архитектура, объединяющая Gated DeltaNet и разреженную Mixture-of-Experts; указаны 64 слоя и скрытая размерность 4096. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Доступно отключение режима рассуждений через параметр chat-template. Сильными сторонами модели являются мультимодальность, большой контекст, поддержка широкого набора языков и оптимизация для эффективного локального вывода. Ограничения конкретных GGUF-вариантов, включая требования к памяти, скорость и степень потери качества, зависят от выбранного уровня квантования и используемого программного обеспечения; в README они подробно не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-27B-GPTQ-Int4 — мультимодальная причинная языковая модель с vision encoder, разработанная командой Qwen. Модель предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Она представлена в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Модель содержит 27 млрд параметров, использует гибридную архитектуру Gated Delta Networks и sparse Mixture-of-Experts, 64 слоя и скрытое измерение 5120. Нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Поддерживается 201 язык и диалект. Веса квантизированы методом GPTQ до 4 бит, что снижает требования к памяти и может повысить эффективность инференса, однако потенциально сопровождается потерей качества по сравнению с полной точностью. К сильным сторонам относятся мультимодальность, длинный контекст, широкое языковое покрытие и оптимизация для производительного инференса. README не содержит подробных сведений о фактических ограничениях, требованиях к оборудованию или результатах всех представленных тестов. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3.5-4B-AWQ-4bit — 4-битная AWQ-квантизованная версия модели Qwen3.5-4B, созданной командой Qwen; репозиторий содержит веса и конфигурацию в формате Hugging Face Transformers. Модель предназначена для локального и серверного инференса в задачах генерации текста, рассуждений, программирования, агентских сценариев и анализа изображений. Это мультимодальная авторегрессионная языковая модель с vision encoder и унифицированным vision-language обучением. Она содержит около 4 млрд параметров, 32 слоя и гибридную архитектуру с Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Указана поддержка 201 языка и диалекта. Модель совместима с Transformers, vLLM, SGLang и KTransformers. К основным преимуществам относятся сочетание текстовых и визуальных возможностей, высокая эффективность архитектуры и сниженные требования к памяти благодаря 4-битной AWQ-квантизации. К ограничениям относятся возможные потери качества и точности по сравнению с полной версией Qwen3.5-4B из-за квантизации, а также отсутствие в предоставленных данных подробностей о фактических требованиях к оборудованию и результатах именно этой AWQ-сборки. Модель распространяется по лицензии Apache-2.0.

FastFlowLM/Qwen3.5-4B-NPU2 — мультимодальная причинная языковая модель с энкодером зрения, основанная на Qwen/Qwen3.5-4B. Модель разработана командой Qwen и предназначена для обработки текста и изображений, включая визуальное понимание, рассуждения, программирование и агентские сценарии. Модель содержит около 4 млрд параметров, 32 слоя и использует гибридную архитектуру Gated Delta Networks со sparse Mixture-of-Experts и блоками Gated Attention. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Модель распространяется в формате, совместимом с Hugging Face Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся мультимодальность, большой контекст, высокая языковая и визуальная универсальность, а также акцент на эффективный инференс с низкой задержкой и умеренными вычислительными затратами. Ограничения, включая качество на отдельных языках, требования к оборудованию и особенности варианта NPU2, в README не уточняются. Лицензия — Apache 2.0.

Yi-1.5-9B-Chat-16K — диалоговая языковая модель семейства Yi, разработанная 01.AI. Это плотная авторегрессионная модель на архитектуре Llama с 8,6 млрд параметров и контекстом до 16 384 токенов. Она создана на базе Yi: семейство Yi-1.5 прошло дополнительное предобучение на корпусе объёмом 500 млрд токенов и тонкую настройку на 3 млн разнообразных примеров. Модель предназначена для диалогов и выполнения инструкций, а также для задач программирования, математики, рассуждений, понимания языка и чтения. В README отмечены улучшения по сравнению с Yi в этих задачах и сильные результаты среди открытых моделей сопоставимого размера. Репозиторий содержит веса в формате safetensors; лицензия — Apache 2.0. В предоставленных материалах не приведены отдельные результаты именно варианта 16K и перечень поддерживаемых языков.

Apriel-1.6-15B-Thinker — мультимодальная модель рассуждений из серии Apriel, разработанная ServiceNow. Это плотная модель семейства LLaVA с 15 млрд параметров, предназначенная для диалоговых инструкций, работы с текстом и изображениями, логических рассуждений и многошаговых задач. Карточка указывает на дообучение предыдущей версии Apriel-1.5-15B-Thinker с помощью SFT и обучения с подкреплением; модель также прошла продолжительное предобучение на текстовых и визуальных данных. Модель подходит для генерации и анализа кода, ответов на вопросы, извлечения информации, следования сложным инструкциям, вызова функций и сценариев с агентами. Она формирует ход рассуждений и затем итоговый ответ; разработчик сообщает о снижении числа токенов рассуждения более чем на 30% по сравнению с Apriel-1.5-15B-Thinker. Наиболее сильные результаты заявлены для английского языка. Модель распространяется в формате Safetensors и доступна по лицензии MIT. Модель может выдавать неверную, вводящую в заблуждение или устаревшую информацию и отражать предвзятость обучающих данных. Она не предназначена для критически важных применений без человеческого контроля; качество на языках, представленных в обучении слабее, может снижаться.

Falcon-H1-34B-Instruct-GGUF — квантизированное в формате GGUF представление инструкционной языковой модели Falcon-H1-34B-Instruct, разработанной Technology Innovation Institute (TII). Это каузальная decoder-only модель с гибридной архитектурой, объединяющей Transformer attention и State Space Models на основе Mamba, что ориентировано на эффективную обработку длинного контекста и снижение вычислительных затрат. Вариант предназначен для запуска через совместимые инструменты, включая custom fork llama.cpp; семейство также поддерживается Transformers и vLLM. Модель рассчитана на генерацию текста, следование инструкциям, рассуждения, математические и научные задачи, программирование и многоязычное взаимодействие. Семейство Falcon-H1 поддерживает до 256K токенов контекста и 18 языков, включая русский, английский, арабский, китайский, японский, корейский, немецкий, французский, испанский, итальянский, португальский, польский, нидерландский, чешский, румынский, шведский, хинди и урду. Размер исходной модели — 34 млрд параметров; конкретные параметры квантизации данного GGUF-файла в README не указаны. К сильным сторонам относятся гибридная архитектура, эффективность по отношению к размеру, работа с длинным контекстом и высокие результаты в ряде общих, научных, математических и инструкционных тестов. Ограничения включают высокие требования к ресурсам по сравнению с небольшими моделями, возможные потери качества из-за квантизации и отсутствие в README подробностей о точном формате и уровне квантизации конкретного файла. Модель распространяется по лицензии Falcon-LLM License; условия доступны по ссылке, указанной разработчиком.

unsloth/gemma-4-E4B-it-unsloth-bnb-4bit — это 4-битная квантованная instruction-tuned версия мультимодальной модели Gemma 4 E4B. Базовую модель разработала Google DeepMind, а текущую оптимизированную сборку подготовила Unsloth с использованием квантования bitsandbytes в формате 4-bit. Модель предназначена для локального запуска и дообучения на совместимом оборудовании. Модель поддерживает обработку текста, изображений и аудио с генерацией текстовых ответов. Она рассчитана на задачи рассуждения, генерации текста, программирования, мультимодального анализа, вызова функций и агентских сценариев. Для E4B заявлены около 4,5 млрд эффективных параметров, 42 слоя, контекстное окно до 128K токенов и словарь размером 262K токенов. Семейство Gemma 4 поддерживает более 140 языков. Архитектура использует гибридное внимание с локальными скользящими окнами и глобальными слоями. Ключевые преимущества модели — мультимодальность, большое контекстное окно, поддержка режимов рассуждения, системных инструкций и нативного function calling, а также сниженные требования к памяти благодаря 4-битному представлению. Квантование может повлиять на точность по сравнению с полноразмерной версией, однако конкретные показатели такого влияния в README не приведены. Модель распространяется по лицензии Apache 2.0.

Granite-3.1-8B-Instruct — инструктивная языковая модель команды Granite компании IBM, опубликованная Red Hat AI. Это плотная модель на 8,2 млрд параметров, полученная дообучением Granite-3.1-8B-Base на открытых наборах инструкций и внутренних синтетических данных; в обучении использовались supervised fine-tuning, обучение с подкреплением для выравнивания и слияние моделей. Она предназначена для диалогов, следования инструкциям, генерации текста и работы с длинным контекстом; поддерживает интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. Модель поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Доступна в формате safetensors и распространяется по лицензии Apache 2.0. README сообщает о проверке на платформах Red Hat AI и рекомендует развёртывание через vLLM; конкретный пример конфигурации ограничивает длину контекста 32 768 токенами.

Ling-3.0-flash-int4 — текстовая генеративная модель от inclusionAI, представленная в формате int4 и распространяемая по лицензии MIT. Она предназначена для генерации текста, рассуждений, следования инструкциям, программирования, задач общего назначения, глубокого исследования и агентских рабочих процессов, включая взаимодействие с инструментами и выполнение многошаговых задач. Модель использует гибридную линейную MoE-архитектуру с чередованием 35 слоёв Kimi Delta Attention (KDA) и 7 слоёв Gated MLA в соотношении 5:1, двумя плотными слоями, 512 маршрутизируемыми и одним общим экспертом; на токен активируется 8 экспертов. Общий объём составляет 124 млрд параметров, активный — 5,1 млрд. Размер скрытого состояния — 2560, число голов внимания — 32, словарь содержит 157184 токена. Контекст обучался поэтапно от 8K до 256K токенов. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильные стороны модели — высокая вычислительная эффективность, поддержка длинного контекста, рассуждений и агентских сценариев, а также оптимизация для производственного развёртывания. Указана интеграция с иерархическим кэшированием SGLang HiCache и Mooncake, которое, по данным разработчика, снижает время до первого токена на 60–80% при длинных входах. Ограничения включают отсутствие в README подробностей о точности int4, фактических требованиях к аппаратному обеспечению, качестве на конкретных языках и результатах независимой проверки. Лицензия — MIT.

Карточка модели Openintelligent123/Llama-3.3-70B-Instruct на Hugging Face совпадает с карточкой unsloth/Llama-3.3-70B-Instruct, поэтому описание составлено по ней. unsloth/Llama-3.3-70B-Instruct — инструктивная мультиязычная языковая модель Meta на архитектуре Llama 3.3, представленная в формате safetensors. Это авторегрессионный трансформер с 69,5 млрд параметров, обученный следовать инструкциям с помощью SFT и RLHF. Модель принимает и генерирует текст; поддерживает диалоговые сценарии и интерфейс вызова инструментов, который разработчики интегрируют самостоятельно. Контекст — до 131 072 токенов. Модель предназначена для чат-ассистентов и генерации текста, в том числе для коммерческого и исследовательского применения. README указывает поддержку английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Условия распространения определяются пользовательской лицензией Llama 3.3 Community License; перед использованием следует соблюдать её положения и Acceptable Use Policy. Модель статична и обучена на офлайн-данных; качество и безопасность ответов требуют проверки, а для неподдерживаемых языков разработчик рекомендует дообучение и дополнительные системные меры.