I.11Классификация, ранжирование и сопоставление

aifeifei798/Meta-Llama-3.1-8B-Instruct — мультиязычная инструктивная языковая модель, разработанная Meta на архитектуре Llama 3.1. Это авторегрессионный трансформер с 7,5 млрд параметров и механизмом Grouped-Query Attention; репозиторий содержит веса в формате safetensors. Модель принимает и генерирует текст, настроена на диалог с помощью дообучения по инструкциям и обучения с обратной связью от людей. Контекстное окно — до 131 072 токенов. Модель предназначена для диалоговых помощников, ответов на запросы и других задач генерации текста. В карточке заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; метаданные также включают китайский, корейский и японский. Возможен интерфейс вызова инструментов, но его интеграцию и безопасность должен обеспечивать разработчик приложения. Условия использования определяет пользовательская лицензия Meta Llama 3.1 Community License; действуют её ограничения и Acceptable Use Policy.

furiosa-ai/Meta-Llama-3.1-8B-Instruct-FP8-dynamic — это инструкция-ориентированная языковая модель Meta Llama 3.1 с 8 млрд параметров, подготовленная для диалогов на естественном языке, выполнения инструкций и вызова инструментов. Модель представляет собой плотный авторегрессионный Transformer, работает с текстом на входе и выходе и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Квантованная версия FP8-dynamic опубликована RedHatAI на основе Meta Llama 3.1 8B Instruct, а данный репозиторий дополнительно содержит пакет Furiosa Executable Bundle для запуска на аппаратном обеспечении FuriosaAI RNGD через Furiosa-LLM. Линейные веса Transformer-блоков используют статическое квантование FP8, а активации динамически квантуются в FP8 для каждого токена во время инференса, без предварительной офлайн-калибровки. Модель поддерживает вызов функций через парсер llama3_json и рассчитана на параллелизм по 8 processing elements на одной карте RNGD. Основной сценарий использования — развёртывание текстового диалогового сервиса через OpenAI-совместимый API Furiosa-LLM; также заявлена совместимость с другими фреймворками, включая vLLM, SGLang и Transformers. Ограничения по размеру контекста в предоставленных данных не указаны. Модель распространяется по лицензии Llama 3.1 Community License.

Meta-Llama-3.1-8B-Instruct-quantized.w8a8 — языковая модель для генерации текста и ассистентского диалога, созданная Neural Magic на основе Meta-Llama-3.1-8B-Instruct от Meta. Модель поддерживает текстовый ввод и вывод, предназначена для коммерческого и исследовательского использования в многоязычных сценариях. В заявленной языковой поддержке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Архитектура — LlamaForCausalLM, размер базовой модели — 8 млрд параметров. Ключевая особенность — INT8-квантизация весов и активаций линейных слоёв Transformer-блоков с использованием GPTQ и библиотеки llm-compressor. Это примерно вдвое снижает требования к памяти и размер модели на диске, а также может примерно вдвое повысить пропускную способность матричных операций. По приведённым оценкам, модель сохраняет качество, близкое к неквантизированной версии: результаты составляют 105,4% для Arena-Hard, 100,3% для OpenLLM v1, 101,5% для OpenLLM v2, 99,7% для HumanEval pass@1 и 98,8% для HumanEval+ pass@1 относительно соответствующих базовых показателей. Для развёртывания рекомендуется vLLM; ограничения включают возможные последствия потери точности из-за квантизации и запрет использования с нарушением применимого законодательства. Лицензия — Llama 3.1.

Qwen3-1.7B — компактная плотная причинная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит 1,7 млрд параметров, 28 слоёв и поддерживает контекст до 40 960 токенов по метаданным. Модель дообучена на базе Qwen/Qwen3-1.7B-Base и распространяется в формате safetensors под лицензией Apache-2.0. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с внешними инструментами через соответствующий интерфейс. Она поддерживает более 100 языков и диалектов. Заявлены режимы рассуждения и обычного диалога; компактный размер подходит для приложений с ограниченными ресурсами по сравнению с более крупными моделями семейства. В README указана длина контекста 32 768 токенов, тогда как метаданные каталога приводят 40 960; для характеристики использовано значение метаданных. В README также отмечен риск бесконечных повторов при некоторых настройках генерации и рекомендована настройка presence_penalty. Качество ответов и точность фактов требуют проверки в целевом сценарии.

furiosa-ai/Qwen3-4B-FP8 — это версия модели Qwen3-4B-FP8, подготовленная FuriosaAI для запуска на ускорителях FuriosaAI RNGD с использованием Furiosa-LLM. Модель представляет собой плотный causal transformer с grouped-query attention и примерно 4 млрд параметров. Разработчик базовой модели — команда Qwen, а FuriosaAI предоставляет исполняемый пакет FXB и интеграцию с собственным программным стеком. Модель предназначена для генерации текста, общего диалога, сложных рассуждений, математических и программных задач, вызова инструментов и агентских сценариев. Она поддерживает гибридный режим: по умолчанию может формировать рассуждение перед ответом, а для отдельных запросов рассуждение можно отключить ради более эффективной работы. Также поддерживается multilingual-использование, однако в карточке явно указан английский язык. Входные и выходные данные — текстовые, доступен OpenAI-совместимый API. Веса статически квантизированы в FP8, активации во время выполнения используют динамическую FP8-квантизацию, а KV-cache сохраняется в 16-битной точности. На FuriosaAI RNGD модель работает с tensor parallelism на 8 вычислительных элементах одной карты. Ограничения связаны с зависимостью данной сборки от Furiosa-LLM и оборудования RNGD; сведения о размере контекста и точном перечне поддерживаемых языков в README не приведены. Модель распространяется по лицензии Apache 2.0.

AxionML/Qwen3.5-9B-NVFP4 — квантизированная версия мультимодальной модели Qwen3.5-9B, разработанная AxionML на базе Qwen/Qwen3.5-9B с использованием NVIDIA TensorRT Model Optimizer. Модель предназначена для открытого и коммерческого применения, локального развертывания и высокопроизводительного инференса в сценариях, связанных с обработкой текста и изображений, включая рассуждения, программирование, работу агентов и визуальное понимание. Модель представляет собой причинную языковую модель с vision encoder и поддерживает 9 млрд параметров. Архитектура сочетает Gated Delta Networks, разреженную Mixture-of-Experts и Gated Attention; заявлены 32 слоя, скрытая размерность 4096 и контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Qwen3.5 заявляет поддержку 201 языка и диалекта, однако конкретные языки и ограничения мультимодального ввода для этой сборки не уточнены. Линейные слои модели используют NVFP4-квантизацию весов и активаций: значения хранятся в 4-битном формате FP4 с блочным масштабированием FP8. Это уменьшает размер модели на диске и потребление GPU-памяти примерно в четыре раза по сравнению с BF16 и делает модель удобной для экономичного сервинга. Ограничением является потенциальная потеря качества из-за квантизации: в приведённых результатах NVFP4-версия немного уступает исходной Qwen3.5-9B на отдельных языковых бенчмарках. Для эффективной работы требуются совместимые аппаратные и программные средства, в частности GPU NVIDIA Blackwell и стек инференса с поддержкой NVFP4, например SGLang. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование.

Qwen3-VL-32B-Thinking-GGUF — мультимодальная модель семейства Qwen, разработанная командой Qwen. Репозиторий содержит GGUF-веса базовой модели Qwen3-VL-32B-Thinking и предназначен для локального запуска через llama.cpp, Ollama и другие инструменты, совместимые с GGUF, на CPU, NVIDIA GPU, Apple Silicon и Intel GPU. Модель объединяет языковую модель и vision encoder, поддерживает обработку текста, изображений и видео. Она ориентирована на визуально-языковое понимание и рассуждение, включая анализ документов и сцен, OCR, пространственное восприятие, STEM- и математические задачи, генерацию кода и разметки по изображениям или видео, а также взаимодействие с графическими интерфейсами и инструментами. Заявлены контекст до 256K токенов с возможностью расширения до 1M, поддержка OCR на 32 языках и улучшенное понимание длительных видео с временной привязкой событий. Архитектурные особенности включают Interleaved-MRoPE для моделирования времени и пространственных измерений, DeepStack для объединения многоуровневых признаков ViT и выравнивание текста с временными метками. Доступны варианты языковой модели FP16, Q8_0 и Q4_K_M, а vision encoder — FP16 и Q8_0, что позволяет выбирать баланс качества, скорости и требований к памяти. Ограничения включают высокие вычислительные и ресурсные требования 32B-модели, а также возможное снижение качества при использовании более агрессивного квантования; конкретные результаты бенчмарков в README не приведены. Распространение указано по лицензии Apache-2.0.

YOYO-AI разработала ZYH-LLM-Qwen2.5-14B-V4 — объединённую плотную авторегрессионную языковую модель семейства Qwen2.5 с 14 млрд параметров. По README, при слиянии увеличили долю моделей, дистиллированных из R1, сохранив ориентацию на следование инструкциям и общие языковые способности. В состав слияния входят несколько моделей на базе Qwen2.5, включая DeepSeek-R1-Distill-Qwen-14B и варианты SuperNova-Medius, Virtuoso-Small-v2 и Blossom-V6-14B. Модель предназначена для диалогов, генерации текста и структурированных ответов; метаданные также отмечают интерфейс вызова инструментов. Заявленный контекст составляет 1 010 000 токенов. В карточке указаны английский и китайский языки. README приводит результаты Open LLM Leaderboard, включая IFEval и BBH. Модель распространяется под лицензией Apache-2.0.

Cohere и Cohere Labs разработали Command R+ — авторегрессионную языковую модель на архитектуре Transformer с 104 млрд параметров. Модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и предназначена для диалогов, рассуждений, суммаризации и ответов на вопросы. После предварительного обучения она прошла дообучение с учителем и обучение на предпочтениях людей. Command R+ специально обучена для генерации ответов с опорой на предоставленные документы: она может указывать релевантные источники и включать цитаты в ответ. Модель также умеет выбирать внешние инструменты и работать с ними в несколько шагов, что подходит для сложных сценариев с API, базами данных и поиском. Для корректной работы этих функций важно использовать предусмотренный шаблон промпта; отклонение от него может снизить качество. Модель оптимизирована для английского, французского, испанского, итальянского, немецкого, бразильского португальского, японского, корейского, арабского и упрощённого китайского языков. Русский и ещё 12 языков присутствовали в данных предварительного обучения, но не входят в перечень языков, для которых заявлена оптимизация. Веса доступны по лицензии CC-BY-NC-4.0; также требуется соблюдать политику допустимого использования Cohere Labs, а коммерческое использование ограничено условиями лицензии.

unsloth/gemma-3-27b-it-unsloth-bnb-4bit — это 4-битная версия instruction-tuned модели Gemma 3 27B, подготовленная Unsloth на базе google/gemma-3-27b-it. Исходная модель разработана Google DeepMind в рамках семейства Gemma, созданного с использованием исследований и технологий Gemini. Модель предназначена для генерации текста и мультимодального понимания изображений: она принимает текст и изображения, а на выходе генерирует текст. Подходит для ответов на вопросы, суммаризации документов, рассуждений, анализа содержимого изображений и диалоговых сценариев. Для размеров 4B, 12B и 27B заявлено контекстное окно до 128K токенов, максимальный объём генерируемого ответа — 8192 токена; изображения нормализуются до 896×896 и кодируются в 256 токенов. Поддерживается более 140 языков, при этом в метаданных данной версии явно указан английский язык. Ключевое преимущество версии — 4-битное квантование, снижающее требования к памяти и упрощающее локальное развёртывание, однако оно может сопровождаться потерей точности по сравнению с полноразмерными вариантами. Модель рассчитана на работу через Transformers и может быть полезна на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Использование регулируется лицензией Gemma и соответствующими Terms of Use.

Mungert/gemma-4-31B-it-GGUF — это GGUF-версия instruction-tuned модели Gemma 4 31B, разработанной Google DeepMind и преобразованной автором Mungert с использованием llama.cpp. Модель предназначена для локального запуска задач генерации и понимания текста, программирования, рассуждений, агентных сценариев и мультимодального анализа изображений с выдачей текста. Модель имеет плотную архитектуру с примерно 30,7 млрд параметров, 60 слоями и контекстным окном до 256 тысяч токенов. Она поддерживает текст и изображения, но не аудио в варианте 31B. Gemma 4 заявлена как мультиязычная модель с поддержкой более 140 языков. В архитектуре используется гибридное внимание: локальное скользящее окно чередуется с глобальным вниманием; размер скользящего окна для 31B составляет 1024 токена. Модель поддерживает режимы рассуждений, системные инструкции и встроенный вызов функций. Главная особенность этой публикации — GGUF-квантизация, подготовленная на основе llama.cpp с выборочным повышением точности важных слоёв сверх стандартной конфигурации IMatrix. Это может улучшать точность при заданном уровне квантизации, особенно у моделей с большим числом параметров, но увеличивает размер файлов. В README нет результатов бенчмарков, конкретных вариантов квантизации или требований к оборудованию, поэтому фактические скорость, качество и потребление памяти зависят от выбранного файла и среды запуска. Лицензия — Apache 2.0.

unsloth/gemma-4-E4B-it-UD-MLX-4bit — это 4-битная MLX-квантизованная версия instruction-tuned модели Gemma 4 E4B, подготовленная Unsloth на базе google/gemma-4-E4B-it. Исходное семейство Gemma разработано Google DeepMind и распространяется как семейство открытых моделей с открытыми весами. Модель предназначена для локального запуска и дообучения, в том числе на ноутбуках и других устройствах с поддержкой MLX. Модель поддерживает мультимодальный ввод: текст и изображения, а для малых моделей Gemma 4 также заявлена нативная поддержка аудио; результатом является текст. Она ориентирована на генерацию текста, программирование, рассуждения, мультимодальное понимание и агентские сценарии с вызовом функций. Для E4B заявлены 4,5 млрд эффективных параметров, около 8 млрд параметров с учётом эмбеддингов, 42 слоя, контекст до 128K токенов и словарь размером 262K. Архитектура использует гибридное внимание с чередованием локального sliding-window и глобального внимания; размер локального окна E4B составляет 512 токенов. Поддерживается более 140 языков, а также системная роль и настраиваемый режим рассуждений. К сильным сторонам относятся сочетание компактного размера, мультимодальности, большого контекстного окна, возможностей рассуждения и оптимизации для локального выполнения. К ограничениям относятся потенциальная потеря качества из-за 4-битной квантизации и зависимость запуска от совместимого MLX-окружения; конкретные показатели качества этой версии в README не приведены. Лицензия — Apache 2.0, при этом для Gemma 4 также указана отдельная документация Google по условиям лицензирования.

NVIDIA GLM-4.7 NVFP4 — это квантизированная версия авторегрессионной языковой модели GLM-4.7, разработанной ZAI и оптимизированной с помощью NVIDIA Model Optimizer. Модель не принадлежит и не разработана NVIDIA; NVIDIA подготовила её под требования соответствующего сценария применения. Модель предназначена для коммерческого и некоммерческого использования, включая AI-агентов, чат-ботов, RAG-системы и другие приложения на основе искусственного интеллекта. Модель построена на архитектуре Transformer и имеет 358 млрд параметров. Она работает только с текстом: принимает строковые последовательности и генерирует текст. Максимальная длина контекста составляет до 200 000 токенов. Версия NVFP4 1.0 квантизирована до формата NVFP4 с использованием nvidia-modelopt v0.41.0; квантизации подвергнуты веса и активации линейных операторов в Transformer-блоках MoE. Данные о полном составе обучающей выборки и поддерживаемых языках не раскрыты, однако калибровка включает англоязычный cnn_dailymail и набор Nemotron с данными на испанском, французском, немецком, итальянском и японском языках. Модель ориентирована на инференс на NVIDIA GPU, особенно на архитектуре Blackwell, с использованием SGLang и Linux. Квантизация NVFP4 может снизить требования к ресурсам и ускорить развертывание, однако для работы требуется совместимая NVIDIA-инфраструктура и дополнительное тестирование в конкретном сценарии. В README приведены результаты на MMLU-PRO, GPQA Diamond, ns_livecodebench, SCICODE и AIME 2025, но они не описывают все практические ограничения модели. Лицензия — MIT.

Hermes 4 70B FP8 — языковая модель для генерации текста, разработанная Nous Research на базе Meta Llama 3.1 70B. Это instruct-модель с гибридным режимом рассуждений: при необходимости она формирует рассуждение в сегментах <think>...</think>, а затем выдаёт итоговый ответ. Модель ориентирована на чат и роль универсального ассистента, поддерживает форматы ChatML и Llama 3, текстовый ввод и вывод, а также заявленные сценарии function calling, tool use, JSON и структурированных ответов. В карточке указан английский язык и библиотека Transformers; размер контекста не указан. Модель предназначена для задач общего ассистирования, reasoning, математики, программирования, STEM, логики, творческого письма, ролевого общения и генерации ответов в заданной структуре. Среди заявленных сильных сторон — улучшенное следование схемам и форматам, способность исправлять некорректные JSON-объекты, управляемость, сниженный уровень отказов и сохранение общего качества диалога. Ограничения включают высокие вычислительные требования, характерные для модели класса 70B, отсутствие в карточке подробных независимых результатов тестирования и ограниченную информацию о поддерживаемых языках: явно указан только английский. Распространение осуществляется по лицензии Llama 3.

RedHatAI/Meta-Llama-3.1-8B-Instruct-quantized.w8a16 — это квантизированная версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Модель предназначена для коммерческого и исследовательского использования в сценариях диалогового ассистента и генерации текста. Она поддерживает текстовый ввод и вывод, а также английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель использует архитектуру Meta-Llama-3 и содержит около 8 миллиардов параметров. Веса линейных операторов внутри блоков трансформера квантизированы в INT8 по схеме W8A16 с применением симметричной поканальной квантизации и алгоритма GPTQ; выходной слой lm_head не квантизирован. Это примерно вдвое уменьшает размер модели на диске и требования к GPU-памяти по сравнению с 16-битной версией. Модель оптимизирована для эффективного развёртывания с использованием vLLM; в примере конфигурации указан максимальный размер контекста 8192 токена. По заявленным оценкам, квантизация сохраняет качество в пределах 1% от исходной модели на MMLU, ARC-Challenge, GSM-8K, Hellaswag, Winogrande и TruthfulQA. Основные ограничения связаны с меньшим размером и возможными особенностями качества 8-битной квантизации по сравнению с полной версией, а также с тем, что модель предназначена прежде всего для текстовых, а не мультимодальных задач. Модель распространяется по лицензии Llama 3.1; использование не должно нарушать применимое законодательство и требования экспортного контроля.

Ministral 3 8B Instruct 2512 — мультимодальная модель семейства Ministral 3 от Mistral AI, представленная в FP8 и дообученная для выполнения инструкций. В архитектуре используются языковая модель на 8,4 млрд параметров и визуальный энкодер на 0,4 млрд параметров; модель принимает текст и изображения и отвечает текстом. Она предназначена для локального и периферийного развёртывания, включая системы с ограниченными ресурсами; по данным карточки, FP8-версия может помещаться в 12 ГБ видеопамяти. Модель подходит для диалоговых помощников, описания и анализа изображений и документов, перевода, генерации контента и агентных сценариев. Поддерживает системные инструкции, вызов функций и вывод JSON, а контекстное окно составляет 256 тыс. токенов. Среди заявленных языков — английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, китайский, японский, корейский и арабский. Лицензия Apache 2.0 разрешает коммерческое и некоммерческое использование и модификацию. Для качества работы с изображениями карточка рекомендует использовать изображения с соотношением сторон, близким к квадратному.

CalamitousFelicitousness/Qwen2.5-3B-Instruct-fp8-dynamic — инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это каузальная Transformer-модель для генерации текста и диалоговых сценариев, включая следование инструкциям, ответы на вопросы, работу со структурированными данными и создание структурированных ответов, в том числе JSON. Указанная версия основана на Qwen/Qwen2.5-3B и использует динамическое 8-битное представление FP8, однако подробности реализации квантования в README не приведены. Модель содержит 3,09 млрд параметров, из которых 2,77 млрд не относятся к эмбеддингам, и имеет 36 слоёв. Архитектура включает RoPE, SwiGLU, RMSNorm, смещения в QKV внимания, связанные эмбеддинги слов и GQA с 16 головами для Q и 2 для KV. Полная длина контекста составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Сильными сторонами являются улучшенные возможности в программировании и математике, следование инструкциям, генерация длинных текстов, обработка структурированных данных и устойчивость к разнообразным системным промптам. Ограничения включают меньший размер по сравнению с крупными моделями семейства и отсутствие в README подробных результатов оценки, требований к аппаратным ресурсам, характеристик производительности и описания модальностей, отличных от текста. Лицензия указана как qwen-research; применимые условия следует уточнять в тексте лицензии Qwen/Qwen2.5-3B.

RedHatAI/Qwen2.5-7B-Instruct-quantized.w8a8 — мультиязычная текстовая генеративная модель для диалоговых и ассистентских сценариев. Модель разработана Neural Magic на основе Qwen2.5-7B-Instruct от Alibaba Cloud и предназначена для коммерческого и исследовательского использования, включая чат на нескольких языках. Она принимает текст и генерирует текст; заявлены поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского и других языков. Модель использует архитектуру Qwen2 и содержит 7 миллиардов параметров в базовой версии. Вариант w8a8 оптимизирован квантованием весов и активаций до INT8. Для линейных операторов трансформерных блоков применяются симметричное статическое поканальное квантование весов и симметричное динамическое потокенное квантование активаций с использованием комбинации SmoothQuant и GPTQ. Это примерно на 50% снижает требования к памяти GPU и размер диска, а также может примерно вдвое повысить пропускную способность матричных вычислений. Модель рассчитана на эффективное развертывание с vLLM и валидирована в RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5. В README приведён пример максимальной длины контекста 8192 токена, а для отдельных конфигураций указано значение 32768; точное ограничение зависит от среды развертывания. Ограничения включают возможное снижение точности из-за квантования и запрет на использование с нарушением применимого законодательства и экспортных ограничений. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507-heretic — производная диалоговая модель на базе Qwen3-4B-Instruct-2507, созданная с помощью abliteration для заметного снижения частоты отказов. По приведённому в карточке тесту отказов стало 5 из 100 запросов против 100 из 100 у исходной модели; это измерение относится к конкретному тесту и не гарантирует поведение на других запросах. Модель плотная, с архитектурой Qwen3ForCausalLM и примерно 3,7 млрд параметров, принимает текст и генерирует текст. Поддерживает контекст до 262 144 токенов и рассчитана на диалоги и режим без пошагового рассуждения. Модель подходит для ответов на вопросы, следования инструкциям, написания и анализа текстов, решения задач, программирования и использования инструментов. В карточке базовой модели заявлена поддержка нескольких языков, но конкретные языки для этой версии не перечислены. Версия опубликована в формате safetensors и предназначена для запуска через Transformers. Лицензия — Apache-2.0.

Qwen3.5-35B-A3B-Uncensored-FernflowerAI-MLX-8bit — это мультимодальная MoE-модель, преобразованная в формат MLX для нативного запуска на Apple Silicon. В её основе лежит Qwen3.5-35B-A3B от Alibaba, использованы uncensored-вариант HauhauCS и исправленные веса FernflowerAI от LuffyTheFox. Конверсию выполнил автор репозитория froggeric. Исправление устраняет повреждение двух тензоров в исходных весах, вызывавшее деградацию на длинном контексте. Модель предназначена для диалогов, генерации и анализа текста и кода, работы с изображениями и видео, рассуждений и вызова инструментов. Она содержит около 35 млрд параметров, активирует примерно 3 млрд параметров на токен, использует архитектуру qwen3_5_moe с 256 экспертами, DeltaNet-MoE и Attention-MoE. Поддерживаются текстовые, визуальные и видеовходы, multi-token prediction, переключаемый режим рассуждений и контекст до 262 тысяч токенов, расширяемый до 1 млн с помощью YaRN. Заявлена поддержка 201 языка и словаря размером 248 тысяч токенов. К сильным сторонам относятся высокая вычислительная эффективность MoE, мультимодальность, большой контекст, поддержка tool calling и 8-битное квантование с объёмом около 35 ГБ. Ограничения включают зависимость от совместимых версий mlx-lm и mlx-vlm, необходимость Apple Silicon для целевого сценария и известное замедление примерно в 2,7 раза при декодировании Gated DeltaNet с невокабулярными эмбеддингами; обычный текстовый инференс этим ограничением не затронут. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3.5-9B-quantized.w8a8 — квантизированная версия мультимодальной модели Qwen/Qwen3.5-9B, разработанная RedHatAI. Модель принимает текст и изображения и генерирует текст, поэтому предназначена для диалоговых систем, анализа изображений, ответов на вопросы, следования инструкциям и задач рассуждения. Модель содержит около 9 млрд параметров и использует INT8-квантизацию весов и активаций линейных операторов в трансформерных блоках. Размер модели на диске составляет около 14,0 ГБ вместо 19,3 ГБ в формате BF16. Энкодер изображений, токеновые эмбеддинги и слои linear attention оставлены в BF16. Заявлена поддержка контекста до 262 144 токенов при развертывании через vLLM; доступен также текстовый режим с пониженным потреблением памяти. Ключевое преимущество модели — существенное сокращение размера и требований к памяти при сохранении качества, близкого к исходной Qwen/Qwen3.5-9B: на приведённых тестах показатели квантизированной версии находятся практически на уровне базовой модели. Ограничения включают зависимость от совместимого стека vLLM и частичную, а не полную квантизацию компонентов. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-35B-A3B-QD-GGUF — квантизированная версия модели Qwen3.6-35B-A3B, подготовленная Quadux IT с использованием собственной методики Quadux Dynamic Quantization. Модель предназначена для диалоговых и мультимодальных сценариев, включая работу с текстом и изображениями, и рассчитана на запуск через llama.cpp в формате GGUF. В основе лежит MoE-архитектура: 35,5 млрд параметров всего и около 3 млрд активных параметров на токен. Используется гибридная схема attention с контекстом до 256 тысяч токенов и низкими затратами на KV-кэш. Поддерживаются английский, немецкий и, согласно карточке, другие языки. В комплект включены MTP head и совместимый vision projector, что обеспечивает поддержку изображений при использовании соответствующей конфигурации. Доступно несколько вариантов квантизации размером примерно от 10,6 до 26,42 ГБ, рассчитанных на видеокарты с 12–32 ГБ памяти. Распределение точности выполнено по результатам измерения чувствительности отдельных тензоров, поэтому варианты ориентированы на хорошее качество при ограниченном размере. Ограничения связаны с неизбежными потерями качества квантизации, зависимостью результата от выбранного варианта и необходимостью отдельного vision projector для мультимодальной работы. Лицензия — Apache 2.0.

Qwen3-VL-2B-Thinking-GGUF — мультимодальная vision-language модель серии Qwen, разработанная командой Qwen. Это GGUF-версия базовой модели Qwen3-VL-2B-Thinking, предназначенная для локального запуска через llama.cpp, Ollama и другие инструменты, совместимые с GGUF. Модель сочетает языковую модель примерно на 2 млрд параметров с vision encoder и работает с текстом и изображениями, а также поддерживает анализ видео. Релиз включает языковые веса в форматах FP16, Q8_0 и Q4_K_M и отдельный vision encoder в FP16 или Q8_0. Заявлены расширенный контекст до 256K токенов с возможностью масштабирования до 1M, визуальное и пространственное рассуждение, OCR для 32 языков, понимание документов, STEM-задач, видео и пользовательских интерфейсов. Архитектурные особенности включают Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Модель подходит для визуального вопросно-ответного взаимодействия, распознавания и структурирования текста на изображениях, анализа документов и видео, визуального рассуждения, генерации кода и задач визуального агента. Наличие нескольких уровней точности позволяет выбирать баланс между качеством, скоростью и требованиями к памяти, а поддержка CPU, NVIDIA GPU, Apple Silicon и Intel GPU упрощает локальное развертывание. Ограничения включают возможное снижение качества при квантовании, зависимость производительности от оборудования и отсутствие в README подробных числовых результатов тестирования и полного списка поддерживаемых языков. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-32B-Thinking — мультимодальная модель для понимания и генерации текста на основе изображений, видео и текстовых запросов. Базовую модель разработала команда Qwen, а данный репозиторий предоставляет её веса в формате GGUF и включает исправления шаблона чата от Unsloth. Модель предназначена для визуального анализа, OCR, STEM- и математического рассуждения, понимания пространственных отношений и видео, генерации кода и взаимодействия с графическими интерфейсами компьютеров и мобильных устройств. Модель относится к плотной архитектуре и содержит 32 млрд параметров. Она поддерживает нативный контекст 256 тысяч токенов с возможностью расширения до 1 млн, а также обработку длительных документов и многочасового видео. Заявлены улучшения визуального и пространственного восприятия, временной привязки событий в видео, распознавания текста на 32 языках и работы с изображениями в сложных условиях, включая низкую освещённость, размытие и наклон. Архитектурные особенности включают Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Сильные стороны модели — сочетание развитого текстового и визуального рассуждения, длинного контекста, анализа пространственных и временных связей, а также сценариев визуального агента и визуального программирования. Ограничения README не описывает; формат GGUF ориентирован на запуск через совместимые инструменты, включая llama.cpp, для которого рекомендуется использовать параметр --jinja. Модель распространяется по лицензии Apache-2.0.

Mungert/EXAONE-4.0-32B-GGUF — GGUF-квантизированная версия языковой модели EXAONE-4.0-32B, разработанной LG AI Research. Модель предназначена для генерации текста, диалоговых приложений, решения сложных задач и агентских сценариев с использованием инструментов. Она поддерживает обычный режим работы и режим рассуждений, а также английский, корейский и испанский языки. Модель содержит около 30,95 млрд параметров без учёта эмбеддингов, 64 слоя, архитектуру GQA с 40 attention-головами и 8 KV-головами, словарь размером 102 400 токенов и контекст до 131 072 токенов. Архитектура использует гибридное внимание: локальное и глобальное внимание в соотношении 3:1, а также QK-Reorder-Norm. Включение режима рассуждений выполняется через параметр enable_thinking. Данный вариант подготовлен с помощью llama.cpp и использует GGUF-квантизацию; автор сборки применяет дополнительное повышение точности отдельных важных слоёв, что может улучшать качество при низкой разрядности ценой увеличения размера файла. Сильными сторонами являются большой контекст, мультиязычность, сочетание обычного и reasoning-режимов, а также возможность локального запуска через экосистему llama.cpp. Ограничения конкретного варианта зависят от выбранного уровня квантизации и аппаратных ресурсов; README не содержит точных характеристик каждой квантованной сборки и результатов сравнительных тестов. Модель распространяется по лицензии EXAONE, обозначенной как other; подробные условия указаны в файле LICENSE.

dealignai/GLM-5.3-UNCENSORED-FP8 — многоязычная текстовая генеративная модель, разработанная dealignai на основе JANGQ-AI/GLM-5.3-FP8 и upstream-модели zai-org/GLM-5.3. Это версия с уменьшенным поведением отказа от ответа, полученная прямым изменением весов без дообучения, LoRA, runtime-хуков или prompt-трюков. Модель предназначена для универсальной генерации текста, рассуждений, программирования, агентских и инструментальных сценариев, включая задачи, где требуется минимизация отказов по широкому спектру тематик. Модель использует архитектуру glm_moe_dsa с 753 млрд параметров, 78 слоями и текстовой модальностью. Применяется квантизация FP8; заявлена нативная производительность tensor cores на GPU Hopper, включая H100 и H200. Поддерживаются английский, китайский, русский, сербский, хинди, французский, испанский, арабский, корейский и японский языки. Для рассуждений доступны режимы low и high, однако отключить рассуждение на этом checkpoint нельзя; при больших значениях усилия рассуждения модель может исчерпать лимит токенов внутри блока размышлений и не выдать ответ. Сильными сторонами являются сохранение общей интеллектуальной способности относительно базовой модели, широкая многоязычность, снижение отказов и исправление обнаруженной в предыдущей версии проблемы циклического рассуждения. Ограничения включают чувствительность результата к настройкам reasoning_effort и max_tokens, практические ограничения длины контекста и неполную совместимость некоторых функций ускорения с vLLM. Модель распространяется по лицензии MIT.

Inkbot — диалоговая языковая модель Tostino для генерации ответов по структурированным запросам, с дополнительным контекстом или без него. Модель построена на архитектуре Llama и содержит 12,9 млрд параметров; максимальный контекст составляет 4096 токенов. Доступны веса PyTorch, лицензия — Llama 2 Community License. Модель предназначена для ответов на вопросы, работы с контекстом в сценариях RAG, извлечения связей для представления знаний, рассуждений, перевода, суммаризации и творческого письма. Для лучших результатов автор рекомендует передавать дату, тип задачи и системное описание отдельно от диалога, а дополнительный контекст формулировать ясно. Модель стремится давать функциональные и лаконичные ответы. Среди ограничений — возможны повторяющиеся циклы текста при сложных задачах и заполнении контекста; при построении графа знаний модель может продолжать добавлять узлы и связи до исчерпания контекста. Влияние переданного пользовательского контекста обычно сохраняется лишь на один-два следующих запроса.

Heretic-org/LFM-2.5-2.6B-heretic — текстовая чат-модель на 2,6 млрд параметров, созданная с помощью Heretic v1.4.0 как «децензурированная» версия LiquidAI/LFM2.5-2.6B. Это плотная причинная языковая модель семейства LFM2 с 30 слоями и контекстом до 131 072 токенов; модель работает с текстом и поддерживает многоязычный ввод и генерацию, включая русский, английский, арабский, китайский, французский, немецкий, хинди, индонезийский, итальянский, японский, корейский, польский, португальский, испанский, тайский и вьетнамский. Модель предназначена для диалогов, следования инструкциям, работы с инструментами, извлечения данных, RAG и сценариев с длинным контекстом, в том числе локального и периферийного развертывания. В README приведено сравнение с исходной моделью: 4 отказа из 100 запросов против 98 у оригинала при KL-дивергенции 0,0321; это указывает на снижение склонности к отказам, но не доказывает универсальное качество или безопасность. Разработчик исходной модели — Liquid AI; эту производную модель подготовил heretic-org. Указана лицензия «other», поэтому конкретные права и ограничения следует проверять в файлах репозитория и условиях исходной модели.

Saxo/Linkbricks-Horizon-AI-Japanese-Superb-V6-70B — языковая модель Linkbricks, дообученная директором по данным Юнсоном Джи (Saxo) на базе V5. Модель семейства Llama с плотной архитектурой содержит 69,5 млрд параметров и принимает контекст длиной до 131 072 токенов. Веса доступны в формате Safetensors по лицензии Apache-2.0. Модель предназначена для генерации текста и диалогов, а также для многоязычных задач на японском, корейском, китайском и английском языках. В карточке заявлены усиленная работа с отзывами и публикациями в социальных сетях, программированием, письмом, математикой и логическими задачами, а также интерфейс вызова функций и инструментов. Обучение включало японский SFT и DPO, многоязычные данные и корпус японских новостей и Википедии.

Llama-Krikri-8B-Instruct-v1.5 — диалоговая языковая модель, разработанная ILSP и дообученная на основе ilsp/Llama-Krikri-8B-Base, которая, в свою очередь, основана на Llama 3.1 8B. Модель с архитектурой Llama содержит 7,6 млрд параметров и рассчитана прежде всего на работу с греческим и английским языками. Контекстное окно — 131 072 токена; базовая модель использует расширенный токенизатор с греческими токенами. Модель предназначена для диалога и выполнения инструкций: она может отвечать на вопросы, создавать и редактировать тексты, суммировать документы, извлекать сущности и структурированные данные, помогать с кодом и использоваться в RAG-сценариях. В карточке также заявлены перевод между греческим и английским, а также с греческого и английского на французский, немецкий, итальянский, португальский и испанский языки. Обучение включало греческие и английские инструкции и предпочтения; заявлены улучшения в греческих чат-бенчмарках относительно предыдущей версии Instruct. Модель распространяется в формате safetensors и лицензируется по условиям Llama 3.1 Community License. Как и другие генеративные языковые модели, она может выдавать фактические ошибки; качество и надёжность ответов в специализированных юридических, финансовых, медицинских и научных сценариях следует проверять отдельно.