I.6Перевод и языковая адаптация

QuixiAI/Qwen3-30B-A3B-AWQ — квантизированная в формате AWQ версия Qwen3-30B-A3B, разработанная командой Qwen и опубликованная Eric Hartford. Модель основана на causal language model с архитектурой mixture-of-experts (MoE) и предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, математики, программирования, перевода и агентских сценариев с интеграцией внешних инструментов. Модель поддерживает переключение между режимами рассуждения и обычной генерации, обучена на этапах pretraining и post-training и поддерживает более 100 языков и диалектов. Всего она содержит около 30,5 млрд параметров, из которых при обработке активируется около 3,3 млрд; в составе 48 слоёв, 128 экспертов, одновременно активируются 8, используется Grouped Query Attention с 32 головами запросов и 4 головами ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN заявлена поддержка до 131 072 токенов. К сильным сторонам относятся сочетание высокой ёмкости MoE с меньшим числом активных параметров, развитые возможности рассуждения, программирования, многоязычного общения и работы в агентских задачах, а также наличие эффективного режима без рассуждений. AWQ-квантизация может снизить требования к памяти и упростить локальное развёртывание, однако конкретные требования к оборудованию и влияние квантизации на качество в карточке не указаны. Для работы рекомендуется использовать актуальные версии Transformers, SGLang или vLLM. Модель распространяется по лицензии Apache-2.0.

Карточка модели jed351/qwen3-30B-A3B-SFT-DPO на Hugging Face совпадает с карточкой Qwen/Qwen3-30B-A3B, поэтому описание составлено по ней. Qwen3-30B-A3B — языковая модель семейства Qwen3, разработанная командой Qwen. Это причинная модель с архитектурой mixture-of-experts: в README указаны 30,5 млрд параметров всего и 3,3 млрд активируемых параметров, 48 слоёв и 128 экспертов, из которых для обработки задействуются 8. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, математики, программирования, творческого письма, перевода и работы с внешними инструментами. В ней можно переключаться между режимами рассуждения и обычного ответа. Заявлена поддержка более 100 языков и диалектов. Метаданные указывают библиотеку Transformers, формат Safetensors и контекст 40 960 токенов; README описывает нативный контекст 32 768 токенов и расширение до 131 072 с YaRN. Модель дообучена на Qwen/Qwen3-30B-A3B-Base и распространяется по лицензии Apache-2.0. Указанные в README возможности рассуждения и работы с инструментами не заменяют внешнюю проверку ответов и корректную настройку интеграций.

unsloth/Qwen3-8B-128K-GGUF — это распространённая в формате GGUF версия языковой модели Qwen3-8B, разработанной командой Qwen и подготовленной Unsloth. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, математических и логических задач, творческого письма, многошагового взаимодействия и сценариев с внешними инструментами. Она поддерживает более 100 языков и диалектов, включая многоязычные инструкции и перевод. Модель представляет собой авторегрессионную causal language model с 8,2 млрд параметров, включая 6,95 млрд параметров без учёта эмбеддингов, и 36 слоями. Используется Grouped-Query Attention: 32 головы для запросов и 8 для ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов. Qwen3 поддерживает переключение между режимом размышлений для сложных задач и обычным режимом для более эффективного диалога. Сильными сторонами являются сочетание рассуждений и универсального диалога, возможности работы с агентами, многоязычность и расширенный контекст. Ограничения включают зависимость качества и скорости от конкретной GGUF-квантизации и доступного оборудования; сведения о точном варианте квантизации, требованиях к памяти и производительности в карточке не указаны. Модель распространяется по лицензии Apache-2.0.

Карточка модели Reeves289/Spark-X2.5-4B на Hugging Face совпадает с карточкой XHToken/Spark-X2.5-4B, поэтому описание составлено по ней. Spark-X2.5-4B — компактная универсальная языковая модель от XHToken, представленная в виде дообученного чекпойнта для Transformers. Она содержит 3,8 млрд параметров и использует плотную архитектуру Spark2_5 с чередованием одного слоя полного внимания и трёх слоёв скользящего оконного внимания. Модель рассчитана на контекст до 1 048 576 токенов и, по заявлению разработчиков, поддерживает более 200 языков. Модель предназначена для диалога, написания и перевода текстов, рассуждений, программирования, следования инструкциям, вызова инструментов и агентных сценариев. Разработчики сообщают о предварительном обучении на примерно 20 трлн токенов и последующем дообучении с учителем и усилением; веса доступны в формате Safetensors и совместимы с Transformers. Для эксплуатации заявлена поддержка нескольких аппаратных платформ и сред инференса, включая vLLM, SGLang, llama.cpp, MLX, Ollama и LM Studio. Модель распространяется по лицензии Apache-2.0. Окно в миллион токенов требует достаточной памяти устройства; в README советуют уменьшить длину контекста при нехватке памяти. Заявления о сравнительных результатах принадлежат разработчикам и зависят от режима оценки и настроек генерации.

JunHowie/Qwen3-14B-GPTQ-Int4 — это 4-битная GPTQ-квантизированная версия большой языковой модели Qwen3-14B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, творческого письма, перевода и многоязычных сценариев, включая интеграцию с внешними инструментами и агентами. Модель использует каузальную языковую архитектуру и содержит около 14,8 млрд параметров, из которых 13,2 млрд приходятся на параметры без учёта эмбеддингов. Она имеет 40 слоёв и групповое многоголовое внимание с 40 головами для запросов и 8 для ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Поддерживаются более 100 языков и диалектов. Qwen3 позволяет переключаться между режимами рассуждения и обычной генерации. Квантизация выполнена в формат GPTQ Int4 с размером группы 128. По данным README, настройка desc_act=False повышает эффективность по скорости генерации токенов по сравнению с более ранними квантизированными версиями, что делает модель более подходящей для ресурсоограниченного развертывания. Для запуска рекомендуется vLLM версии 0.9.2 или новее; также заявлена совместимость с экосистемой vLLM и другими инструментами локального инференса. Ограничения включают возможное снижение точности из-за 4-битной квантизации, а также высокие требования к вычислительным ресурсам при использовании длинного контекста и режима рассуждения. Модель распространяется по лицензии Apache-2.0.

Qwen3-235B-A22B-GPTQ-Int4 — квантизированная 4-битная версия крупной языковой модели Qwen3-235B-A22B, разработанная командой Qwen. Это авторегрессионная causal language model с архитектурой mixture-of-experts (MoE): 235 млрд параметров всего, из которых 22 млрд активируются при генерации. Модель имеет 94 слоя, 128 экспертов, 8 активируемых экспертов, а также Grouped Query Attention с 64 головами Q и 4 головами KV. Модель предназначена для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, ролевых сценариев, многошаговых диалогов и агентских задач с использованием внешних инструментов. Она поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Доступно переключение между режимом reasoning для сложных задач и non-thinking для более эффективного общего общения в рамках одной модели. Нативная длина контекста составляет 32 768 токенов, а с использованием YaRN может достигать 131 072 токенов. GPTQ-квантизация Int4 снижает требования к памяти, однако модель остаётся очень крупной и требует специализированной инфраструктуры; в README отмечены проблемы Transformers с мног GPU-инференсом и рекомендованы SGLang или vLLM. Для режима reasoning рекомендуется использовать заданные параметры сэмплирования и не применять жадное декодирование, поскольку это может ухудшать качество и приводить к повторениям. Модель распространяется под лицензией Apache 2.0. README не содержит подробных результатов бенчмарков, требований к конкретному оборудованию или измерений производительности.

QuantFactory/Qwen3-8B-GGUF — квантизированная версия языковой модели Qwen3-8B, созданная QuantFactory на основе модели Qwen/Qwen3-8B с использованием llama.cpp. Это каузальная языковая модель для генерации текста, диалогов, следования инструкциям, написания кода, математических и логических рассуждений, перевода и сценариев с интеграцией внешних инструментов. Модель содержит 8,2 млрд параметров, из них 6,95 млрд без учёта embedding, и включает 36 слоёв. В архитектуре используется grouped-query attention (GQA) с 32 головами запросов и 8 головами ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Qwen3 поддерживает более 100 языков и диалектов и умеет переключаться между режимами thinking для сложных рассуждений и non-thinking для более быстрых ответов. К сильным сторонам относятся универсальность, развитые способности к рассуждениям, программированию, многоязычным задачам, диалогам и работе с инструментами, а GGUF-квантизация ориентирована на локальный запуск через совместимые приложения и llama.cpp. Ограничения конкретной сборки зависят от выбранного уровня квантизации, который в карточке не указан: по сравнению с полноразмерной моделью возможна потеря качества, а требования к памяти и производительность определить нельзя. Модель распространяется по лицензии Apache 2.0.

Shuttle-3.5 — дообученная ShuttleAI версия языковой модели семейства Qwen3, предназначенная для диалогов, следования инструкциям и работы с внешними инструментами. Она сочетает режим рассуждений для сложных задач с обычным режимом ответов; в карточке заявлены улучшения в математике, программировании, логическом рассуждении, творческом письме и ролевых диалогах. Модель имеет плотную архитектуру Qwen3ForCausalLM и 29,7 млрд параметров по метаданным. Она принимает текст и генерирует текст; метаданные указывают контекст до 40 960 токенов, а карточка модели — поддержку более 100 языков и диалектов. Для совместимой интеграции предусмотрен интерфейс вызова инструментов. Модель подходит для многоязычного общения, перевода, генерации кода и агентных сценариев. Заявления о сравнительных результатах и качестве основаны на карточке разработчика и не сопровождаются здесь независимой оценкой. Лицензия — Apache-2.0.

Apertus-8B-Instruct-2509-GGUF — открытая мультиязычная языковая модель с 8 млрд параметров, разработанная Swiss AI и связанная со Swiss National AI Institute, ETH Zurich и EPFL. Это instruct-вариант модели Apertus для генерации и обработки текста, диалогов, работы с кодом и математическими задачами, а также агентских сценариев с использованием инструментов. Модель построена на архитектуре decoder-only Transformer, предварительно обучена на 15 трлн токенов данных веба, кода и математики, а затем дообучена с помощью supervised fine-tuning и выравнивания QRPO. Она поддерживает 1811 языков, контекст до 65 536 токенов и может запускаться через совместимые инструменты, включая Transformers, vLLM, SGLang и MLX. Формат GGUF предназначен для удобного локального развертывания, однако конкретный вариант квантования в предоставленных данных не указан. К сильным сторонам относятся открытые веса, раскрытые данные и детали обучения, широкий языковой охват, длинный контекст и акцент на соответствии требованиям обработки данных. Ограничения включают возможные ошибки и неточности, характерные для языковых моделей, а также высокие вычислительные требования по сравнению с небольшими моделями. Модель распространяется по лицензии Apache 2.0, но её использование также связано с отдельной политикой допустимого использования Apertus и требованиями по обработке персональных данных; разработчики рекомендуют регулярно применять фильтр выходных данных на основе актуальных запросов на удаление данных.

Карточка модели cemig-nlp-releases/energy-gpt-regulatorio-32B-v2 на Hugging Face совпадает с карточкой Qwen/Qwen3-32B, поэтому описание составлено по ней. Qwen3-32B — плотная причинно-следственная языковая модель семейства Qwen3, разработанная командой Qwen. Она предназначена для диалога, следования инструкциям, рассуждений, генерации кода, перевода и работы с внешними инструментами. В одной модели можно переключаться между режимом рассуждений для сложных задач и обычным режимом ответа. Модель содержит 29,7 млрд параметров по метаданным каталога; в README указано 32,8 млрд параметров, включая 31,2 млрд без эмбеддингов. Архитектура — Qwen3ForCausalLM, для запуска поддерживается Transformers. Нативный контекст составляет 40 960 токенов по метаданным каталога; README указывает 32 768 токенов нативно и возможность расширения до 131 072 с YaRN. Семейство поддерживает более 100 языков и диалектов. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0. Модель подходит для многошагового диалога и сценариев с вызовом инструментов, а также для математических и логических рассуждений, творческого письма и программирования. Карточка заявляет сильные способности к следованию инструкциям и многоязычным задачам; качество конкретных ответов зависит от запроса и развертывания. В README не приведены конкретные ограничения или оговорки по безопасности.

Ocean-1-4B — компактная универсальная языковая модель компании OceanLabs с архитектурой Spark2.5. Она содержит 3,8 млрд параметров и предназначена для эффективного запуска на маломощных устройствах и локально: поддерживает NVIDIA, Apple Silicon и CPU, а также совместима с vLLM, SGLang, llama.cpp, Ollama и LM Studio. Модель принимает текстовые запросы и генерирует текст; предусмотрен интерфейс для чата и вызова инструментов. Модель рассчитана на диалоги, написание и перевод текстов, рассуждения, повседневное программирование и агентные сценарии. Гибридная архитектура сочетает скользящее внимание в большинстве слоёв с разреженными слоями полного внимания, что снижает потребление памяти KV-кэша и вычисления. Заявлена поддержка контекста до 1 048 576 токенов и более 200 языков. В метаданных указана связь с базовой моделью Ocean-1-4B и дообучение; её идентификатор приведён в base_model_guess. Модель распространяется по лицензии Apache-2.0. Оценки качества и заявленные преимущества приведены в карточке модели; независимые результаты тестирования не описаны.

unsloth/Qwen3-14B-unsloth-bnb-4bit — 4-битная версия модели Qwen3-14B, подготовленная Unsloth на базе Qwen/Qwen3-14B, разработанной командой Qwen. Это авторегрессионная языковая модель для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, ролевого взаимодействия и агентских сценариев с использованием внешних инструментов. Модель содержит 14,8 млрд параметров, из которых 13,2 млрд не относятся к embedding, и включает 40 слоёв. Используется Grouped-Query Attention с 40 головами для Q и 8 для KV. Поддерживаются режимы рассуждения и обычного ответа, между которыми можно переключаться в рамках одной модели. Заявлена поддержка более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов. Ключевое преимущество этой версии — 4-битное представление, снижающее требования к памяти и удобное для локального запуска и дообучения. Ограничения включают возможное снижение точности по сравнению с полноформатной моделью из-за квантования, а также высокие вычислительные требования, связанные с размером 14B. README не содержит подробных результатов бенчмарков и требований к конкретному оборудованию. Модель распространяется по лицензии Apache-2.0. Для работы рекомендуется использовать актуальную версию библиотеки transformers; в README указано, что версии ниже 4.51.0 могут вызывать ошибку, связанную с поддержкой Qwen3.

Карточка модели ygal33/Qwen3-235B-A22B на Hugging Face совпадает с карточкой Qwen/Qwen3-235B-A22B, поэтому описание составлено по ней. Qwen3-235B-A22B — большая языковая модель семейства Qwen3 от команды Qwen, разработанная Alibaba. Это причинная языковая модель архитектуры Mixture of Experts: всего 235 млрд параметров, из которых при генерации активируются 22 млрд; используются 128 экспертов, из них активны 8. Модель доступна в формате safetensors и рассчитана на работу через Transformers. Модель предназначена для диалогов и генерации текста, следования инструкциям, рассуждений, математики, программирования, творческого письма, перевода и сценариев с вызовом внешних инструментов. В одном чекпойнте можно переключать режимы рассуждения и обычного ответа. README заявляет поддержку более 100 языков и диалектов. Контекст в README указан как 32 768 токенов нативно и до 131 072 с YaRN; метаданные каталога указывают нативную длину 40 960 токенов. Модель принимает текст и выдаёт текст. Репозиторий лицензирован по Apache-2.0. Для практического использования следует учитывать большой общий размер модели и требования к инфраструктуре; README не приводит конкретных аппаратных требований или оценок качества для отдельных задач.

Qwen3.5-35B-A3B-GPTQ-Int4 — мультимодальная причинная языковая модель с vision encoder, разработанная командой Qwen. Это GPTQ-квантованная до 4 бит версия постобученной модели Qwen3.5-35B-A3B, предназначенная для локального и серверного инференса в Hugging Face Transformers, vLLM, SGLang, KTransformers и совместимых инструментах. Модель ориентирована на генерацию и понимание текста и изображений, рассуждение, программирование, визуальное понимание и агентские сценарии. Она поддерживает 201 язык и диалект. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts: всего 35 млрд параметров, из которых активируется около 3 млрд; используется 256 экспертов, 8 маршрутизируемых и 1 общий активный эксперт. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Ключевые преимущества — мультимодальность, высокая вычислительная эффективность благодаря разреженной архитектуре и 4-битному квантованию, а также широкий языковой охват и поддержка длинного контекста. Ограничения включают возможные потери качества и точности, характерные для низкобитного квантования, а также зависимость производительности от используемого движка и аппаратного обеспечения. Модель распространяется по лицензии Apache-2.0.

CohereLabs/command-a-plus-05-2026-w4a4 — квантизированная версия открытой модели Command A+, разработанная Cohere и Cohere Labs. Модель предназначена для агентных и многошаговых сценариев, задач, требующих рассуждений, корпоративных приложений и многоязычного диалога. Она принимает текстовые и графические входы, а генерирует текст, поэтому может использоваться для общения, анализа изображений, обработки документов и работы с инструментами. Модель содержит 25 млрд активных параметров и 218 млрд параметров всего; в карточке она описана как MoE-модель с поддержкой vision-входов. Контекстное окно составляет до 128K входных токенов. Заявлена поддержка языков, включая английский, русский, китайский, японский, арабский, немецкий, французский, испанский и ряд других. Вариант W4A4 использует 4-битное квантование весов и активаций экспертов MoE, при этом внимание и KV-кэш сохраняются в полной точности; применяется Quantization-Aware Distillation для снижения потерь качества. Главное преимущество варианта W4A4 — меньшие требования к памяти, более высокая скорость и меньшая задержка при сопоставимом с другими вариантами качестве. Для запуска указаны ориентиры от одной GPU NVIDIA B200 или двух H100, а для vLLM требуется версия не ниже 0.25.0 и дополнительная библиотека cohere_melody. Ограничения включают высокие аппаратные требования и необходимость совместимого программного стека. Модель распространяется по лицензии Apache 2.0.

GPT-OSS-Swallow 120B SFT v0.1 — двуязычная языковая модель Токийского технологического института, дообученная на базе GPT-OSS. Она предназначена для диалогов на японском и английском языках, перевода между ними, а также решения задач по математике, программированию и естественным наукам. Модель использует архитектуру GPT-OSS с разреженной смесью экспертов (MoE); в метаданных указано 2,1 млрд параметров и контекст до 131 072 токенов. Для инференса разработчики рекомендуют vLLM и советуют ограничивать контекст 32 768 токенами или менее. Обучение включало продолжение предобучения, supervised fine-tuning и последующее обучение с проверяемыми наградами для семейства моделей; этот репозиторий содержит вариант SFT. Авторы сообщают об улучшении японского языка и перевода при сохранении математических и кодовых навыков. Модель не обучали специально для вызова инструментов, управления уровнем reasoning effort и надежной работы с длинным контекстом; ранний выпуск также не настроен на полное соответствие человеческим намерениям и требованиям безопасности. Лицензия — Apache-2.0.

Qwen3-32B-AWQ — квантизированная 4-битная AWQ-версия причинной языковой модели Qwen3-32B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с интеграцией внешних инструментов. Она поддерживает переключение между режимом рассуждения для сложных задач и нерезультирующим режимом для более эффективного общего диалога в рамках одной модели. Модель содержит 32,8 млрд параметров, из них 31,2 млрд без учёта embedding, и имеет 64 слоя. Используется Grouped Query Attention: 64 головы для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с YaRN заявлена поддержка до 131 072 токенов. Модель поддерживает более 100 языков и диалектов, ориентирована на многоязычное следование инструкциям и перевод. AWQ-квантизация снижает требования к памяти, однако может влиять на качество по сравнению с полноразмерной версией; README также не содержит подробных результатов бенчмарков и требований к аппаратному обеспечению. Для режима рассуждения модель формирует промежуточное содержимое в блоке <think>...</think>; в README рекомендованы определённые параметры генерации и не рекомендуется жадное декодирование. Указанная лицензия — Apache 2.0.

unsloth/Qwen3-4B-unsloth-bnb-4bit — 4-бillionная причинная языковая модель, представляющая 4-битную версию Qwen3-4B, подготовленную Unsloth на базе модели Qwen/Qwen3-4B. Она предназначена для генерации текста, диалогов, следования инструкциям, математических и логических рассуждений, написания кода, творческих задач, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Модель имеет 4,0 млрд параметров, из которых 3,6 млрд не относятся к embedding, и 36 слоёв. Архитектура использует Grouped Query Attention с 32 головами запросов и 8 головами ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Qwen3 поддерживает более 100 языков и диалектов, включая английский; модальность README не указывает, поэтому модель следует считать текстовой. Ключевые особенности — переключение между режимами reasoning и обычного, не требующего рассуждений, ответа в рамках одной модели, улучшенные возможности следования инструкциям, многоязычность и работа в агентских сценариях. 4-битное представление снижает требования к памяти и удобно для локального запуска и дообучения, однако может сопровождаться потерей точности по сравнению с полноразмерными версиями. Для работы рекомендуется актуальная версия библиотеки Transformers; конкретные требования к оборудованию в README не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-122B-A10B-FP8 — мультимодальная модель семейства Qwen3.5, разработанная командой Qwen. Это постобученная версия с причинной языковой моделью и vision encoder, предназначенная для работы с текстом и изображениями, включая рассуждение, программирование, визуальное понимание и агентские сценарии. Модель содержит 122 млрд параметров, из которых 10 млрд активируются при обработке запроса. Она использует гибридную архитектуру Gated Delta Networks и разреженную Mixture-of-Experts с 256 экспертами, из которых активируются 8 маршрутизируемых и 1 общий эксперт. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Данная версия содержит fine-grained FP8-квантизированные веса с размером блока 128; производительность заявлена близкой к исходной модели. Сильными сторонами являются сочетание мультимодальности, большого контекста, разреженной архитектуры для более эффективного вывода и широкого языкового охвата. Ограничения, зависящие от конкретной задачи, аппаратной конфигурации и используемого программного стека, в README не раскрыты; FP8-формат также требует совместимой поддержки. Модель распространяется по лицензии Apache-2.0 и совместима с Hugging Face Transformers, vLLM, SGLang и KTransformers.

cyankiwi/Qwen3.5-397B-A17B-AWQ-4bit — квантизированная 4-битная версия мультимодальной модели Qwen3.5-397B-A17B, разработанной командой Qwen. Модель представляет собой авторегрессионную языковую модель с vision-энкодером и предназначена для генерации и понимания текста, работы с изображениями, рассуждений, программирования, визуального анализа и агентских сценариев. Она доступна в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts. Общее число параметров составляет 397 млрд, из которых при обработке токена активируется 17 млрд; используется 512 экспертов, 10 маршрутизируемых и один общий эксперт. Нативная длина контекста — 262 144 токена, с возможностью расширения до 1 010 000 токенов. Модель поддерживает 201 язык и диалект, а мультимодальная архитектура ориентирована на совместную обработку текста и визуальных данных. К сильным сторонам относятся высокая эффективность разреженной архитектуры, большой контекст, широкое языковое покрытие и возможности мультимодального понимания. Ограничениями являются значительные требования к вычислительным ресурсам даже при 4-битной квантизации, а также возможные потери точности, связанные с квантизацией AWQ. Репозиторий распространяется по лицензии Apache-2.0.

JunHowie/Qwen3-8B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия языковой модели Qwen3-8B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, математических и логических задач, творческого письма, ролевого общения, перевода и сценариев с использованием внешних инструментов. Она поддерживает переключение между режимом рассуждений и обычным режимом генерации в рамках одной модели. Модель построена как causal language model и содержит около 8,2 млрд параметров, из которых 6,95 млрд не относятся к embedding-слою. Архитектура включает 36 слоёв и grouped-query attention с 32 головами Q и 8 головами KV. Базовый контекст составляет 32 768 токенов, а с использованием YaRN заявлена поддержка до 131 072 токенов. Qwen3 заявляет поддержку более 100 языков и диалектов, включая мультиязычное следование инструкциям и перевод. Квантизация выполнена в 4-битном формате с размером группы 128. По сравнению с более ранними квантизованными версиями заявлена повышенная эффективность по числу токенов в секунду благодаря параметру desc_act=False. Квантизация снижает требования к памяти и подходит для локального или серверного развёртывания, однако может приводить к потере качества по сравнению с полной точностью; конкретные показатели качества и требования к оборудованию в README не приведены. Для работы рекомендуется vLLM версии 0.9.2 или новее. Модель распространяется по лицензии Apache 2.0.

duyntnet/Qwen3-8B-imatrix-GGUF — набор квантованных версий модели Qwen3-8B, опубликованный пользователем duyntnet на основе Qwen/Qwen3-8B. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, программирования, творческого письма, ролевого общения, перевода и агентских сценариев с интеграцией внешних инструментов. Это авторегрессионная causal language model с 8,2 млрд параметров, включая 6,95 млрд параметров без учёта эмбеддингов. Архитектура содержит 36 слоёв и использует Grouped-Query Attention: 32 головы запросов и 8 голов ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов. Модель поддерживает более 100 языков и диалектов. Она допускает переключение между режимом рассуждений для сложных задач и нережимом рассуждений для более быстрых ответов в рамках одной модели. Формат GGUF и imatrix-квантизации ориентированы на локальный запуск через llama.cpp и совместимые приложения, включая KoboldCPP, Ollama, LM Studio, GPT4All и другие интерфейсы. Потенциальные ограничения связаны с потерями качества, зависящими от выбранного уровня квантизации, а также с требованиями к памяти и производительности оборудования; конкретные параметры для отдельных файлов в README не указаны. Лицензия обозначена как other, без уточнения дополнительных условий использования.

Apertus-8B-2509 — открытая языковая модель семейства Apertus, разработанная Swiss AI. Это плотный авторегрессионный трансформер-декодер с 10,3 млрд параметров, обученный с нуля на 15 трлн токенов и дообученный с учителем с последующим выравниванием. Модель предназначена для генерации текста, многоязычного общения и работы с длинным контекстом; поддерживает вызов инструментов. Контекстное окно — до 65 536 токенов. Карточка заявляет поддержку более 1 800 языков. Модель ориентирована на открытое и прозрачное применение: разработчики публикуют веса, данные и сведения о процессе обучения. Репозиторий использует формат Safetensors и библиотеку Transformers; лицензия — Apache-2.0. Модель может генерировать фактически неточный или непоследовательный текст и отражать предвзятость обучающих данных. Фильтр для персональных данных в комплект не входит, поэтому важные ответы следует проверять, а выводы с персональными данными — обрабатывать с осторожностью.

gemma-4-E4B-it-qat-GGUF — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google DeepMind и представленная в формате GGUF пользователем prithivMLmods. Она предназначена для локального запуска на ноутбуках и производительных мобильных устройствах, а также для исследовательских и прикладных сценариев с использованием llama.cpp. Модель поддерживает работу с текстом, изображениями и аудио, включая генерацию текста, распознавание речи, перевод речи, OCR, анализ изображений и видеокадров, function calling и настраиваемый режим рассуждений. Модель имеет около 4,5 млрд эффективных параметров и 8 млрд параметров с учётом embeddings, использует Quantization-Aware Training, Per-Layer Embeddings и гибридное внимание с 512-токенным скользящим окном в 42 слоях. В состав входят vision encoder примерно на 150 млн параметров и audio encoder примерно на 300 млн параметров. Заявлены контекст до 128 тысяч токенов, словарь на 262 тысячи токенов и поддержка более 140 языков, включая английский. Доступны версии GGUF с точностью от Q2_K до Q8_0, а также BF16, F16 и F32; размер файлов зависит от варианта и составляет примерно от 4,38 до 29,9 ГБ, не считая multimodal-проектора. Сильными сторонами являются сочетание мультимодальности, большого контекста, локального исполнения и сниженных требований к памяти благодаря QAT при сохранении качества, близкого к bfloat16. Ограничения включают значительные аппаратные требования для высокоточных вариантов и зависимость мультимодальных возможностей от совместимого программного обеспечения и projector-файла. Модель распространяется по лицензии Apache-2.0.

K-EXAONE — мультиязычная языковая модель LG AI Research для диалога, рассуждений, работы с инструментами и обработки длинных текстов. Она использует архитектуру Mixture of Experts: в README указаны 236 млрд параметров всего и 23 млрд активных при инференсе; метаданные каталога приводят 21,3 млрд параметров. Модель поддерживает контекст до 262 144 токенов и языки корейский, английский, испанский, немецкий, японский и вьетнамский. Архитектура включает 128 экспертов, из которых активируются 8, а также механизм Multi-Token Prediction для ускорения генерации. Модель предназначена для ответов на вопросы, рассуждений, многоязычного общения, анализа длинных документов и агентных сценариев с вызовом инструментов. README сообщает о специальной поддержке корейских культурных и исторических контекстов. Модель доступна в формате safetensors и работает с Transformers; для сервинга также описаны vLLM и SGLang. В README лицензия не названа, а метаданные указывают «other», поэтому точные условия использования следует проверять на странице модели. Возможны фактические ошибки, устаревшие ответы, предвзятость и неподходящие генерации; заявленная дата среза знаний — декабрь 2024 года.

casperhansen/mistral-small-24b-instruct-2501-awq — это 4-битная AWQ-квантизованная версия Mistral-Small-24B-Instruct-2501. Исходную модель разработала Mistral AI, а квантизованные веса опубликованы пользователем casperhansen. Это instruction-tuned большая языковая модель для генерации текста, диалоговых агентов, вызова функций, локального инференса и последующей адаптации под специализированные задачи. Модель содержит около 24 млрд параметров и использует архитектуру MistralForCausalLM: 40 скрытых слоёв, 32 attention heads и 8 key-value heads. Максимальный контекст — 32 768 токенов. Модель работает с текстом и заявлена для английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Квантизация AWQ в формате INT4 уменьшает требования к памяти и делает локальное развёртывание практичнее, но может снижать точность по сравнению с исходными полноразмерными весами. Сильные стороны — относительно компактный для своего класса размер, поддержка многоязычной генерации, инструкций и function calling, а также возможность локального использования. Ограничения включают текстовую модальность, зависимость качества от выбранного 4-битного квантования и отсутствие подробной отдельной model card для этого производного репозитория. Для исходной Mistral-Small-24B-Instruct-2501 указана лицензия Apache 2.0; точные условия использования производного репозитория следует проверять по его метаданным.

RedHatAI/Qwen3-32B-FP8-dynamic — языковая модель для генерации текста, разработанная Red Hat совместно с Neural Magic на основе Qwen/Qwen3-32B. Она предназначена для рассуждений, вызова функций, многоязычного следования инструкциям, перевода и адаптации под специализированные предметные области посредством дообучения. Модель работает с текстом на входе и выходе и построена на архитектуре Qwen3ForCausalLM. Модель использует FP8-квантизацию весов и активаций линейных операторов внутри transformer-блоков. Веса квантизуются статически по каналам, активации — динамически по токенам; слой lm_head не квантуется. По заявлению разработчиков, это примерно вдвое снижает требования к памяти GPU и размер на диске, а также может примерно вдвое увеличить пропускную способность матричных умножений по сравнению с представлением FP16. Модель рассчитана на эффективное развертывание с vLLM, включая OpenAI-совместимую подачу. К сильным сторонам относятся сочетание возможностей базовой Qwen3-32B с уменьшенными требованиями к памяти и поддержка рассуждений, многоязычных инструкций и function calling. При этом FP8-квантизация может влиять на точность по сравнению с исходной моделью, а README не содержит подробностей о поддерживаемых языках, длине контекста и количественных результатах оценки. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

async0x42/Qwen3-8B-exl3_4.0bpw — это квантованная версия Qwen3-8B, разработанная на базе модели Qwen/Qwen3-8B. В README разработчик квантованной сборки отдельно не указан; исходная модель относится к серии Qwen. Это авторегрессионная языковая модель для генерации текста, диалогов, следования инструкциям, рассуждений, математики, программирования, перевода и агентских сценариев с интеграцией внешних инструментов. Модель имеет около 8,2 млрд параметров, из которых 6,95 млрд не являются embedding-параметрами, 36 слоёв и архитектуру Grouped-Query Attention с 32 головами для Q и 8 для KV. Она поддерживает переключение между режимами рассуждения и обычной генерации, более 100 языков и диалектов, а также текстовую модальность. Нативная длина контекста составляет 32 768 токенов, с использованием YaRN может достигать 131 072 токенов. Суффикс exl3_4.0bpw указывает на формат квантования примерно до 4 бит на вес, однако подробности реализации квантования в README не приведены. Сильные стороны модели — сочетание рассуждений и быстрой универсальной генерации, поддержка многоязычных задач, диалогов, кода и инструментального взаимодействия. Ограничения и фактические показатели производительности для данной квантованной сборки не указаны; качество может отличаться от исходной модели из-за квантования. Модель распространяется по лицензии Apache-2.0.

Apertus-70B-Instruct-2509-GGUF — GGUF-версия 70-миллиардной языковой модели Apertus-70B-Instruct-2509, разработанной Swiss National AI Institute (SNAI) при участии ETH Zurich и EPFL. Это авторегрессионный decoder-only Transformer для генерации и обработки текста, диалоговых сценариев и агентского использования с поддержкой инструментов. Модель обучена с нуля на 15 триллионах токенов, включая веб-данные, код и математические материалы. Она поддерживает длинный контекст до 65 536 токенов и 1811 языков, ориентирована на полностью открытые, прозрачные и многоязычные применения. В архитектуре используются функция активации xIELU, оптимизатор AdEMAMix, а последующее дообучение включало supervised fine-tuning и выравнивание методом QRPO. Формат GGUF предназначен для совместимого локального запуска, однако конкретный уровень квантования в представленных данных не указан. Сильными сторонами модели являются широкий языковой охват, длинный контекст, открытость весов, обучающих данных и сведений о процессе обучения, а также заявленное соблюдение требований к согласию владельцев данных. Ограничения включают высокие требования к вычислительным ресурсам, типичные для модели такого размера, возможные ошибки и неточности при генерации, а также отсутствие данных о характеристиках конкретной GGUF-квантизации. Модель распространяется по лицензии Apache-2.0, но её использование также связано с отдельной политикой допустимого использования Apertus; разработчики рекомендуют применять регулярно обновляемый фильтр для удаления персональных данных из результатов.

A.X K2 — крупная языковая модель класса Mixture-of-Experts, разработанная SK Telecom в рамках южнокорейского государственного проекта Sovereign AI. Это преемник A.X K1 и агентная foundation-модель, обученная с нуля для понимания корейского языка и культуры, а также работы с многоязычными и программными данными. Модель предназначена для генерации текста, следования инструкциям, сложного рассуждения, решения задач и агентных сценариев. Она поддерживает управляемые режимы Think для многошагового рассуждения и Non-Think для кратких ответов с низкой задержкой. Используются английский, корейский, китайский, японский и испанский языки. Архитектура представляет собой decoder-only Transformer с 688 млрд параметров, из которых 33 млрд активируются на каждом токене: 256 маршрутизируемых экспертов, один общий эксперт и выбор восьми экспертов для токена. Модель содержит 61 слой, 64 attention heads и поддерживает контекст до 262 144 токенов; длина 256K достигнута расширением с 128K с помощью YaRN. Ключевые особенности A.X K2 — Multi-head Latent Attention со Sparse Gated Attention для более эффективной работы с длинным контекстом, Gated Norm для стабильного обучения и подавления выбросов активаций, а также нативное обучение в FP8. Чекпойнт предоставляется в block-scaled FP8 E4M3, что уменьшает требования к памяти и подходит для эффективного FP8-инференса без отдельной постквантизации. Ограничения включают высокие системные требования, обусловленные общим объёмом параметров, а также потенциальные риски и ограничения качества, свойственные большим языковым моделям; конкретные результаты бенчмарков в представленном README не указаны. Модель распространяется по лицензии Apache-2.0.