I.6Перевод и языковая адаптация

unsloth/Mistral-Small-24B-Instruct-2501-GGUF — квантизированная версия 24-миллиардной Mistral Small 3 (2501), разработанной командой Mistral AI и опубликованной Unsloth в формате GGUF. Это instruction-tuned модель на базе Mistral-Small-24B-Base-2501, предназначенная для диалоговых приложений, генерации текста, локального инференса, function calling, выдачи JSON и создания специализированных предметных ассистентов после дообучения. Модель поддерживает десятки языков, включая английский, французский, немецкий, испанский, итальянский, китайский, японский, корейский, португальский, нидерландский и польский. Заявлены сильные conversational и reasoning-возможности, поддержка системных промптов и контекстное окно 32K токенов. Используется токенизатор Tekken со словарём размером 131K; конкретная архитектура и параметры квантизации в предоставленном README не указаны. К сильным сторонам относятся высокая плотность знаний, низкая задержка, нативные возможности для агентных сценариев и возможность локального запуска после квантизации, в том числе на RTX 4090 или MacBook с 32 ГБ оперативной памяти. Ограничения включают отсутствие подробных данных о вариантах квантизации, требованиях к оборудованию и результатах независимых оценок; заявленные преимущества основаны на материалах разработчика. Модель распространяется по лицензии Apache 2.0, допускающей использование и модификацию в коммерческих и некоммерческих целях.

RedHatAI/Mistral-Small-24B-Instruct-2501-quantized.w8a8 — квантизированная INT8-версия Mistral-Small-24B-Instruct-2501, разработанная Red Hat совместно с Neural Magic. Модель предназначена для генерации текста и поддерживает текстовые и визуальные входные данные с текстовым выводом. Заявленные сценарии включают диалоговых агентов с быстрым откликом, вызов функций с низкой задержкой, программирование, математическое рассуждение, анализ длинных документов, визуальное понимание, локальный инференс и специализированные решения после дообучения. Модель имеет архитектуру Mistral3ForConditionalGeneration и содержит 24 млрд параметров в базовой версии. Веса и активации линейных операторов в трансформерных блоках квантизированы до INT8: для весов используется статическая симметричная поканальная схема, для активаций — динамическая симметричная потокенная схема. При заявленных характеристиках это примерно вдвое снижает требования к памяти GPU и размер файлов весов, а также может увеличить производительность матричных умножений примерно в два раза. Квантизация выполнена с использованием SmoothQuant и GPTQ через библиотеку llm-compressor. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Модель валидирована с RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4; в документации приведён контекст до 32768 токенов. Ограничения включают возможное снижение точности из-за квантизации и запрет использования с нарушением применимых законов и в неподдерживаемых языках. Лицензия — Apache 2.0.

Motif-3-NVFP4 — это NVFP4-квантизированный вариант большой авторегрессионной языковой модели Motif 3, разработанной компанией Motif Technologies. Модель предназначена для генерации текста общего назначения, мультиязычных задач, программирования, математического рассуждения, работы с длинными контекстами и агентных сценариев с использованием инструментов. Указанные языки — английский и корейский. Модель построена на декодерной архитектуре Mixture-of-Experts с примерно 314 млрд параметров, из которых около 13,2 млрд активируются для каждого токена. Она содержит 53 слоя, включая 2 плотных и 51 MoE-слой, 384 маршрутизируемых эксперта с выбором 8 экспертов на токен и одного общего эксперта. Используются Grouped Differential Latent Attention, модифицированные manifold-constrained hyper-connections, Expert-Specific PolyNorm и Multi-Token Prediction для self-speculative decoding. Нативная длина контекста составляет 262 144 токена, размер словаря — 220 160. Квантизация NVFP4 уменьшает требования к памяти и ориентирована на эффективное развертывание на GPU класса NVIDIA Blackwell. Сильными сторонами модели заявлены работа с длинным контекстом, агентное и инструментальное взаимодействие, а также конкурентные результаты в задачах программирования, математики и общих знаний. По приведённым тестам, NVFP4-версия в среднем почти не уступает варианту Block-FP8 по точности, однако фактическая производительность может зависеть от оборудования и настроек инференса. Ограничения включают высокую общую ёмкость модели, необходимость совместимого NVFP4-оборудования и отсутствие в этой карточке полного описания базовой модели и подробностей оценки. Модель распространяется по лицензии MIT.

unsloth/Qwen3-4B-Instruct-2507-unsloth-bnb-4bit — 4-битная версия модели Qwen3-4B-Instruct-2507, подготовленная Unsloth на основе модели Qwen/Qwen3-4B-Instruct-2507, разработанной командой Qwen. Это авторегрессионная causal language model для генерации текста и диалоговых сценариев. Модель предназначена для следования инструкциям, ответов на вопросы, логического рассуждения, понимания текста, математики, науки, программирования, использования инструментов и генерации творческих текстов. Она поддерживает несколько языков и рассчитана на работу с длинным контекстом до 262 144 токенов. Модель работает только в non-thinking режиме и не генерирует блоки <think></think>. Архитектура включает 4,0 млрд параметров, из которых 3,6 млрд не являются embedding-параметрами, 36 слоёв и Grouped-Query Attention с 32 головами Q и 8 головами KV. Квантование до 4 бит снижает требования к памяти и может упростить локальное развёртывание, однако потенциально сопровождается потерей точности по сравнению с полноразмерной версией. В README заявлены улучшения в знаниях, рассуждении, кодировании, агентских задачах, многоязычности и соответствии пользовательским предпочтениям, но конкретная производительность зависит от сценария и среды запуска. Лицензия — Apache-2.0.

hikka2515/Qwen3.5-4B-MTP-GGUF — GGUF-версия мультимодальной модели Qwen3.5-4B, разработанной командой Qwen и подготовленной с использованием инструментов Unsloth. Модель предназначена для локального запуска и генерации текста, рассуждений, программирования, агентских сценариев, вызова инструментов и анализа изображений. Она поддерживает текстово-визуальный ввод и совместима с llama.cpp и другими средствами работы с GGUF. Модель содержит около 4 млрд параметров и использует гибридную архитектуру с Gated Delta Networks, разреженным Mixture-of-Experts и блоками gated attention. Контекст составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Поддерживается 201 язык и диалект. Версия включает обучение для multi-step speculative decoding (MTP), которое при совместимой сборке llama.cpp может ускорять генерацию примерно в 1,5–2 раза, а также улучшения поддержки роли developer и вызова инструментов. Сильные стороны модели — сочетание мультимодальности, большого контекста, компактного размера и возможности эффективного локального запуска в квантованном формате. Ограничения связаны с необходимостью специальной сборки llama.cpp для MTP; при таком режиме не поддерживаются параллельность запросов через параметр -np больше 1 и параметр --mmproj. Точные характеристики конкретного квантования UD-Q4_K_XL в README не приведены. Модель распространяется по лицензии Apache-2.0.

AxionML/Qwen3.5-4B-NVFP4 — мультимодальная модель для работы с текстом и изображениями, разработанная AxionML на основе Qwen/Qwen3.5-4B. Модель предназначена для открытого использования, развёртывания и высокопроизводительного inference-сервинга, включая сценарии визуального понимания, рассуждений, программирования и агентских задач. Это causal language model с vision encoder и архитектурой, сочетающей Gated Delta Networks и разреженный Mixture-of-Experts. Модель содержит около 4 млрд параметров, 32 слоя, скрытую размерность 2560 и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Линейные слои используют NVFP4-квантизацию весов и активаций с помощью NVIDIA TensorRT Model Optimizer, что уменьшает размер хранения и потребление GPU-памяти примерно в четыре раза по сравнению с BF16. К сильным сторонам относятся сочетание мультимодальности, длинного контекста и сниженные требования к памяти, что делает модель подходящей для эффективного локального и серверного развёртывания на совместимом оборудовании. К ограничениям относятся потенциальная потеря качества из-за 4-битной квантизации и необходимость аппаратной и программной поддержки NVFP4, в частности соответствующих GPU и средств инференса. Модель распространяется по лицензии Apache 2.0 и разрешена для коммерческого и некоммерческого использования.

FreedomAISVR/Qwen3.5-9B-MTP-MXFP4-GGUF — мультимодальная модель семейства Qwen, представленная в формате GGUF с квантизацией MXFP4. Репозиторий содержит веса модели размером 5,18 ГБ и мультимодальный проектор SigLIP в формате F16 размером 875 МБ. Указаны 32 трансформерных блока, гибридная архитектура с attention, FFN и SSM, дополнительная голова Multi-Token Prediction и контекст до 262 144 токенов. Модель предназначена для генерации текста на нескольких языках, понимания изображений и видео, рассуждений и вызова инструментов. Вариант из карточки включает режим рассуждений по умолчанию; его можно отключить параметром генерации. В метаданных базовой моделью указана Qwen/Qwen3.5-9B; лицензия — Apache-2.0. Квантизация уменьшает требования к хранению и вычислениям, но может влиять на точность относительно исходных весов.

Cohere Command A Reasoning — авторегрессионная языковая модель с открытыми весами, разработанная Cohere и Cohere Labs. Модель на 111 млрд параметров предназначена для диалогов, агентных сценариев и работы с внешними инструментами; она поддерживает режим рассуждений, который можно включать для повышения качества или отключать ради меньшей задержки. Модель принимает текст и генерирует текст. Она обучена на 23 языках и поддерживает контекст до 256 тыс. токенов и генерацию до 32 тыс. токенов. Архитектура использует Transformer с чередованием слоёв скользящего внимания и глобального внимания; после предварительного обучения модель прошла дообучение с учителем и обучение на предпочтениях. Для работы с инструментами и цитированием результатов предусмотрен шаблон диалога Transformers. Модель подходит для многоязычного диалога, сложных запросов с рассуждением, вызова инструментов и агентных рабочих процессов. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование без отдельного согласования с Cohere; также необходимо соблюдать Acceptable Use Policy Cohere Labs. Для загрузки модели README рекомендует версию Transformers из исходного репозитория с необходимыми изменениями.

p-e-w опубликовал вариант Gemma 4 E2B Instruct с изменённым ограничением на генерацию: в карточке модель помечена как uncensored, decensored и abliterated. Это компактная плотная модель семейства Gemma 4 для условной генерации; её исходная архитектура использует сочетание локального скользящего и глобального внимания. В репозитории указаны веса safetensors и лицензия Apache-2.0. Модель предназначена для диалогов и генерации текста, рассуждений, помощи с кодом и мультимодального понимания. Gemma 4 E2B поддерживает обработку текста, изображений и аудио, включая распознавание речи и перевод речи в текст; семейство также заявляет анализ видео, вызов инструментов и контекст до 128 тысяч токенов для E2B. В карточке этой конкретной версии приведены теги any-to-any и image-text-to-text, но отдельные характеристики обучения и проверки именно варианта heretic-ara не описаны. Семейство Gemma 4 заявляет поддержку более 35 языков, однако конкретный перечень языков для этой сборки не приведён. Возможны фактические ошибки, предвзятость и трудности с неоднозначными либо сложными запросами; пометка uncensored указывает на ослабление ограничений, поэтому ответы могут включать нежелательный или вредный контент. Лицензия репозитория — Apache-2.0.

Это зеркальная копия Gemma 4 E2B IT от Google DeepMind, подготовленная chibifire. Модель прошла обучение с учётом квантизации Q4_0 (QAT), а в репозитории хранятся полут точные веса в формате safetensors вместе с токенизатором, шаблоном диалога и конфигурациями обработки и генерации. Она основана на плотной архитектуре Gemma 4 и предназначена для локального вывода и дальнейшего преобразования весов. Модель принимает текстовые и мультимодальные запросы и формирует ответы в диалоговом режиме; базовая Gemma 4 E2B IT поддерживает анализ изображений и аудио наряду с текстом. Обучение QAT рассчитано на сохранение качества при последующем хранении весов в Q4_0, хотя данная копия содержит полут точные, а не квантизованные веса. Для загрузки README рекомендует Transformers. Лицензия репозитория — Apache 2.0.

Карточка модели OsGo/gemma-4-E2B-it-qat-q4_0-unquantized-assistant на Hugging Face совпадает с карточкой google/gemma-4-E2B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

Changgil/google-gemma-3-27b-it-text — текстовая адаптация Gemma 3 от Google DeepMind, представленная Changgil. Из модели удалены компоненты обработки изображений, при этом сохранена генерация текста; архитектура — плотная Gemma 3 для авторегрессионной генерации, размер — 28,3 млрд параметров. Модель работает через Transformers и распространяется в формате safetensors. Модель предназначена для диалогов, ответов на вопросы, суммаризации и рассуждений по текстовым запросам и документам. Она поддерживает контекст до 131 072 токенов и, согласно README, более 140 языков; максимальная длина генерации в README указана как 8 192 токена. Принимает и выдаёт только текст. Лицензия — Gemma License; удаление визуальных компонентов позволяет использовать текстовый вариант там, где обработка изображений не нужна.

JiRack Ultra 32B — плотная причинная языковая модель на 32 млрд параметров, разработанная CMSManhattan на основе архитектуры DeepSeek R1-32B и переработанная с поддержкой BitNet-подобных троичных весов. Модель предназначена для генерации текста и диалогов, запуска на CPU, использования в RAG-системах, программировании и агентных сценариях с вызовом инструментов. В README также заявлены токены для маршрутизации, мультимедиа, зрения, звука и робототехники, однако метаданные подтверждают только текстовую генерацию и чат. Контекстное окно составляет 131 072 токена. В репозитории представлены веса safetensors и варианты GGUF, включая Q2_K, Q3_K_M, Q4_K_M, Q5_K_M, Q6_K и Q8_0; доступное качество и требования к памяти зависят от квантования. В карточке указана поддержка английского, китайского, японского, корейского, французского, испанского, португальского, немецкого, итальянского, русского, арабского, вьетнамского и тайского языков. Заявлена лицензия MIT на веса; Docker-образ, интерфейс и готовые Ollama-квантизации могут распространяться на отдельных коммерческих условиях. Модель рассчитана на локальное или облачное развертывание, в том числе на CPU; для Q4_K_M рекомендуется не менее 24 ГБ оперативной памяти, а для полной точности — от 64 ГБ. README содержит заявления о высокой эффективности и расширенных возможностях инструментального взаимодействия, но не приводит сравнительных оценок качества; наличие специальных токенов само по себе не подтверждает полноценную обработку изображений, аудио или робототехнических действий.

unsloth/Qwen3.5-122B-A10B-MTP-GGUF — это GGUF-квантование мультимодальной модели Qwen3.5-122B-A10B, разработанное Unsloth на базе модели Qwen/Qwen3.5-122B-A10B от команды Qwen. Модель предназначена для локального запуска и совместима с llama.cpp, а исходная модель также поддерживает Transformers, vLLM, SGLang и KTransformers. Модель использует гибридную архитектуру с Gated Delta Networks и разреженным Mixture-of-Experts: при общем размере 122 млрд параметров активируется около 10 млрд параметров. Она работает с текстом и изображениями, поддерживает задачи рассуждения, программирования, визуального понимания, агентных сценариев и вызова инструментов. Заявлена поддержка 201 языка и диалекта. Вариант MTP поддерживает speculative decoding, что может ускорять генерацию примерно в 1,5–2 раза. К сильным сторонам относятся мультимодальность, высокая эффективность разреженной архитектуры, улучшенные квантование и данные imatrix, а также оптимизации для диалогов, длинного контекста, программирования и tool calling. Ограничения связаны с необходимостью использовать совместимую версию llama.cpp с поддержкой draft-mtp; при MTP не поддерживаются параллельные последовательности через -np > 1 и параметр --mmproj. Конкретный размер контекста в README не указан. Модель распространяется по лицензии Apache-2.0.

QuantTrio/Qwen3.5-9B-AWQ — квантованная версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen. Репозиторий содержит веса в формате, совместимом с Transformers и сервером инференса vLLM; квантование выполнено методом, не использующим обучающие данные. README не уточняет состав команды, выполнившей квантование. Модель предназначена для генерации и понимания текста и изображений, рассуждений, программирования, агентских сценариев и вызова инструментов. Это каузальная языковая модель с vision-энкодером, поддерживающая 201 язык и диалект. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; модель содержит около 9 млрд параметров, 32 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Размер файлов модели составляет около 12 ГиБ. Ключевое преимущество — сочетание мультимодальности, длинного контекста и сниженных требований к памяти благодаря формату AWQ, что делает модель подходящей для локального и серверного инференса. Ограничения включают зависимость от актуальных версий vLLM и Transformers, необходимость CUDA 12.8 и возможные проблемы совместимости или настройки среды; количественные результаты бенчмарков в предоставленных данных отсутствуют. Модель распространяется по лицензии Apache-2.0.

Карточка модели prince-canuma/WizardLM-2-8x22B на Hugging Face совпадает с карточкой dreamgen/WizardLM-2-8x22B, поэтому описание составлено по ней. WizardLM-2 8x22B — многоязычная языковая модель с архитектурой Mixture of Experts, разработанная WizardLM в Microsoft AI. Это версия для генерации текста и диалогов; в карточке указаны сценарии сложного общения, рассуждений, работы с кодом, математикой и агентных задач. По README модель основана на mistral-community/Mixtral-8x22B-v0.1 и содержит 141 млрд параметров; метаданные классифицируют её как Mixtral MoE с 22B параметров и контекстом до 65 536 токенов. Модель обучалась с использованием синтетической системы подготовки данных и поддерживает многоязычное применение. В репозитории указаны веса safetensors и лицензия Apache-2.0. Заявления о сравнительном качестве приведены разработчиками по их оценкам и не гарантируют результат на иных задачах.

unsloth/gemma-4-E2B-it-UD-MLX-4bit — 4-битная MLX-квантизованная версия instruction-tuned модели Gemma 4 E2B, подготовленная Unsloth на базе google/gemma-4-E2B-it. Исходное семейство Gemma разработано Google DeepMind и распространяется как открытые модели с открытыми весами. Модель предназначена для локального запуска на ноутбуках и мобильных устройствах, а также для генерации текста, рассуждений, программирования, мультимодального анализа и агентских сценариев с поддержкой function calling. Она принимает текстовые и графические данные, а также аудио, и генерирует текст. Для E2B заявлено контекстное окно до 128K токенов и поддержка более 140 языков. E2B — компактная dense-модель с 2,3 млрд эффективных параметров, или 5,1 млрд с учётом embedding-слоёв, 35 слоями, локальным окном внимания 512 токенов и словарём на 262 тысячи токенов. Архитектура использует гибридное внимание, объединяющее локальное скользящее и глобальное внимание, а также Per-Layer Embeddings для повышения эффективности на устройствах. 4-битное представление снижает требования к памяти и подходит для локального запуска через MLX, однако README не приводит подробных результатов бенчмарков или количественной оценки потерь качества после квантизации. Лицензия — Apache 2.0.

cyankiwi/GLM-5.3-Flash-AWQ-INT4 — квантизированный чекпойнт модели GLM-5.3-Flash, разработанной Z.ai и опубликованный пользователем cyankiwi. Модель является нативно мультимодальной и предназначена для обработки текста и изображений, включая диалоговые сценарии, программирование, агентные задачи и работу с длинным контекстом. В карточке указаны английский и китайский языки, а README дополнительно заявляет поддержку хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. GLM-5.3-Flash использует гибридную архитектуру с разреженным и линейным вниманием, а также Manifold-Constrained Hyper-Connections. Общий объём модели составляет 320 млрд параметров, из которых активно используется около 18 млрд; точный максимальный размер контекста в карточке не указан, но модель оптимизирована для длинных контекстов. Данный вариант сочетает схемы compressed-tensors INT4, FP8-block и BF16 в разных модулях, его размер — около 197,19 ГБ. Сильными сторонами модели являются мультимодальность, эффективность инференса, поддержка многоязычных сценариев, программирования и агентных рабочих процессов, а также возможность управления интенсивностью рассуждений через параметр reasoning_effort. Ограничением является необходимость специальной версии форка vLLM для загрузки этого чекпойнта; стандартный vLLM его не поддерживает. Лицензия — MIT.

cyankiwi/granite-4.0-h-micro-AWQ-4bit — 4-битная AWQ-квантизованная версия Granite-4.0-H-Micro, разработанной командой Granite и IBM. Базовая модель содержит около 3 млрд параметров, относится к длинноконтекстным инструкционным языковым моделям и дообучена на открытых инструкционных и синтетических данных с применением supervised fine-tuning, reinforcement learning и объединения моделей. Модель предназначена для выполнения общих инструкций и создания AI-ассистентов, в том числе для бизнес-приложений. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи, связанные с кодом, function calling, многоязычный диалог и Fill-In-the-Middle для автодополнения кода. Заявлены улучшенные следование инструкциям и вызов инструментов. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Ключевое ограничение — README не указывает точный размер контекстного окна, архитектурные детали и результаты бенчмарков. Квантизация AWQ-4bit рассчитана на более экономичное развертывание, однако конкретные требования к оборудованию и потери качества для этой версии не приведены. Модель распространяется по лицензии Apache 2.0.

Kiwen1.1-27B — плотная мультимодальная модель на 27 млрд параметров, созданная beyoru дообучением Qwen3.8-27B на цепочках рассуждений Kimi K3. Она предназначена для диалогов, многошаговых рассуждений, программирования, следования инструкциям и работы с инструментами; поддерживает анализ изображений. В метаданных также отмечены возможности chat и tool calling. В README приведены результаты GSM8K и IFEval, а также внутреннего набора задач: автор сообщает о заметном улучшении на GSM8K, небольшом приросте на VMLU и выигрышах в переводе, классификации намерений и маршрутизации. Для извлечения, классификации и форматирования рекомендуется отключать режим рассуждений. README показывает запуск с контекстом 262144 токена. Модель распространяется по лицензии Apache-2.0. Автор отмечает проблемы качества ответов при использовании dflash2.

Meta-Llama-3.1-8B-Instruct-quantized.w8a8 — языковая модель для генерации текста и ассистентского диалога, созданная Neural Magic на основе Meta-Llama-3.1-8B-Instruct от Meta. Модель поддерживает текстовый ввод и вывод, предназначена для коммерческого и исследовательского использования в многоязычных сценариях. В заявленной языковой поддержке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Архитектура — LlamaForCausalLM, размер базовой модели — 8 млрд параметров. Ключевая особенность — INT8-квантизация весов и активаций линейных слоёв Transformer-блоков с использованием GPTQ и библиотеки llm-compressor. Это примерно вдвое снижает требования к памяти и размер модели на диске, а также может примерно вдвое повысить пропускную способность матричных операций. По приведённым оценкам, модель сохраняет качество, близкое к неквантизированной версии: результаты составляют 105,4% для Arena-Hard, 100,3% для OpenLLM v1, 101,5% для OpenLLM v2, 99,7% для HumanEval pass@1 и 98,8% для HumanEval+ pass@1 относительно соответствующих базовых показателей. Для развёртывания рекомендуется vLLM; ограничения включают возможные последствия потери точности из-за квантизации и запрет использования с нарушением применимого законодательства. Лицензия — Llama 3.1.

Карточка модели TreezzZ/opd-teacher-alfworld-7b на Hugging Face совпадает с карточкой Qwen/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.

Qwen3.5-9B-NVFP4 — квантизированная версия модели Qwen3.5-9B, подготовленная IG1. Модель предназначена для задач генерации текста и мультимодального взаимодействия в формате image-text-to-text, включая диалоги, рассуждения, программирование, работу с мультиязычными запросами и, при соответствующей поддержке сервера, вызов инструментов. Базовая модель разработана командой Qwen; в карточке также указаны наборы данных UltraChat, GSM8K, CodeAlpaca и Aya, использованные для калибровки квантизации. Модель использует гибридную архитектуру Mamba с компонентами attention и поставляется в формате NVFP4. При квантизации длина последовательности была увеличена до 8192 токенов, а калибровочная выборка — до 1024 примеров из разговорных, математических, программных и мультиязычных данных. Для запуска рекомендуется vLLM на GPU NVIDIA; в примере конфигурации для RTX 5090 заявлена максимальная длина контекста около 110 880 токенов, однако фактический размер зависит от настроек и доступной видеопамяти. К сильным сторонам относятся сниженное потребление памяти благодаря NVFP4, поддержка режимов с рассуждением и без него, а также профили для общих, программных и творческих сценариев. Ограничением является несовместимость или нестабильная работа FP8 KV cache: по данным автора, его использование может приводить к быстрой деградации качества или повреждению результатов квантизации. Карточка рекомендует развертывание через vLLM и содержит настройки для оптимизации работы на RTX 5090. Модель распространяется по лицензии Apache 2.0.

Qwen3-VL-4B-Thinking-GGUF — это мультимодальная vision-language модель из серии Qwen, разработанная командой Qwen. Репозиторий содержит веса базовой модели Qwen3-VL-4B-Thinking в формате GGUF, разделённые на языковую модель и vision encoder. Модель предназначена для понимания и генерации текста по текстовым и визуальным данным, включая изображения и видео, а также для локального запуска на пользовательских устройствах. Модель поддерживает сценарии визуального анализа, OCR, пространственного рассуждения, STEM- и математические задачи, понимание документов и видео, генерацию кода и разметки по изображениям, а также взаимодействие с графическими интерфейсами и инструментами. Заявлены улучшенные визуальное восприятие и рассуждение, распознавание текста на 32 языках, работа с объектами, позициями, перекрытиями и временными событиями в видео. Для семейства Qwen3-VL указано нативное контекстное окно 256K токенов с возможностью расширения до 1M. Веса доступны для языковой модели в вариантах FP16, Q8_0 и Q4_K_M, а для vision encoder — в FP16 и Q8_0, что позволяет выбирать баланс качества, скорости и требований к памяти. Формат совместим с llama.cpp, Ollama и другими инструментами GGUF; заявлена поддержка CPU, NVIDIA GPU через CUDA, Apple Silicon через Metal и Intel GPU через SYCL. Для работы требуются совместимые инструменты и отдельный файл vision encoder, а выбор квантования может влиять на качество и производительность. Модель распространяется по лицензии Apache-2.0.

活字3.5（Huozi 3.5）是哈尔滨工业大学社会计算与信息检索研究中心（HIT-SCIR）开发的稀疏混合专家语言模型，用于中文和英文对话、指令遵循及通用文本生成。模型基于 Chinese-Mixtral-8x7B 和活字3.0训练，并经过指令微调与模型融合；每个专家层含8个前馈网络，每次计算稀疏激活其中2个。README称模型共有46.7B параметров、推理时激тивируется около 13B; метаданные указывают 7.2B параметров. Поддерживается контекст до 32 768 токенов. Модель заявлена для работы с китайскими и английскими знаниями, математическими рассуждениями, генерацией кода, многоходовым диалогом и безопасными ответами. Доступны веса в формате safetensors, а для инференса описаны Transformers, vLLM, ModelScope, OpenAI API и преобразование в GGUF. Лицензия репозитория — Apache 2.0; для коммерческого использования авторы просят связаться с правообладателем и получить письменное разрешение. Модель может выдавать фактические ошибки, предвзятый или вредоносный контент, поэтому ответы требуют проверки. Заявления о возможностях и оценках приведены авторами; качество зависит от сценария и настройки генерации.

MyAwesomeModel-TestRepo — репозиторий модели пользователя tttoola на Hugging Face. По метаданным это модель семейства BERT для извлечения признаков, реализованная как BertModel и доступная в формате PyTorch через библиотеку Transformers. Репозиторий помечен лицензией MIT. Модель предназначена для получения признаковых представлений текста. В карточке и доступных источниках не удалось надёжно установить конкретные сценарии применения, поддерживаемые языки, размер или длину контекста, поэтому эти характеристики не указаны.

Это инструкционная чат-модель Qwen2.5-3B, размещённая Unsloth и основанная на Qwen/Qwen2.5-3B-Instruct. Она предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, помощь с кодом и математикой, работу со структурированными данными и формирование JSON. Модель имеет плотную архитектуру Qwen2 с 3,1 млрд параметров; в README указаны 36 слоёв, поддержка контекста до 32 768 токенов и генерация до 8 192 токенов. Модель работает с текстом и рассчитана на многоязычное использование: README заявляет поддержку более 29 языков, включая английский, русский, китайский, французский, немецкий и японский. Среди отмеченных сильных сторон семейства — следование инструкциям, генерация длинных текстов и структурированные ответы. Метаданные указывают библиотеку Transformers, формат Safetensors и интерфейс чата с поддержкой вызова инструментов. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить с карточкой репозитория. Приведённый README в основном описывает семейство Qwen2.5 и материалы Unsloth; он не содержит отдельной оценки качества именно этой публикации модели.

Vikhr-Nemo-12B-Instruct-R-21-09-24 — русско-английская унимодальная языковая модель команды VikhrModels, дообученная на базе mistralai/Mistral-Nemo-Instruct-2407. Это плотная архитектура Mistral с 12,1 млрд параметров; модель распространяется в формате safetensors и предназначена для генерации текста и диалога. Для обучения использованы этапы SFT и SMPO, а среди обучающих данных — синтетические наборы GrandMaster-PRO-MAX и Grounded-RAG-RU-v2. Модель подходит для ответов на вопросы, рассуждений, суммаризации, генерации кода и ролевого диалога. Она поддерживает системные промпты и специальный режим grounded RAG для ответов по предоставленным документам, включая поиск идентификаторов релевантных документов. README заявляет контекст до 128 тысяч токенов; в метаданных указано значение 1 024 000 токенов. Практический предел зависит от конфигурации запуска. К ограничениям относятся низкий уровень безопасности ответов, возможные случайные дефекты генерации при высокой температуре и риск добавления модельных знаний к ответу по документам. Режим grounded RAG требует специального системного промпта; авторы рекомендуют низкую температуру. По оценке авторов на ru-arena-general часть тестовых примеров попала в обучающие данные, поэтому приведённый результат следует интерпретировать с осторожностью. Лицензия — Apache-2.0.

cyankiwi/gemma-4-31B-it-qat-AWQ-INT4 — это квантованный вариант мультимодальной модели Gemma 4 31B, разработанной Google DeepMind и опубликованный пользователем cyankiwi. Модель основана на google/gemma-4-31B-it-qat-q4_0-unquantized и предназначена для работы с текстом и изображениями с генерацией текстового ответа. Она ориентирована на генерацию текста, программирование, рассуждения, мультимодальный анализ и агентские сценарии с поддержкой вызова функций. Модель относится к семейству Gemma 4 с архитектурой, использующей гибридный механизм внимания, и имеет размер около 20,90 ГБ. Для версии 31B заявлено контекстное окно до 256K токенов. Указана поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. Квантование с использованием Quantization-Aware Training и формата AWQ-INT4 снижает требования к памяти при сохранении качества, близкого к полноформатным вариантам, что упрощает локальное развертывание. Ограничения включают значительные требования к вычислительным ресурсам по сравнению с меньшими моделями, а также возможные потери качества и совместимости, характерные для низкобитного квантования. В README аудио указано только для вариантов Gemma 4 E2B, E4B и 12B, поэтому для данной версии поддержка аудио не подтверждена. Модель распространяется по лицензии Apache 2.0; при использовании необходимо также учитывать условия лицензии Gemma 4.

GigaChat3-10B-A1.8B — диалоговая языковая модель семейства GigaChat, опубликованная под идентификатором ai-sage/GigaChat3-10B-A1.8B. Она предназначена для генерации и обработки текста, включая диалоговые сценарии, ответы на вопросы, работу с математическими и академическими задачами, программированием и структурированием информации. Модель дообучена на высококачественных SFT-данных поверх базовой версии GigaChat3-10B-A1.8B-base. Модель использует архитектуру Mixture-of-Experts с 10 миллиардами общих и 1,8 миллиарда активных параметров. В архитектуре применяются Multi-head Latent Attention (MLA), снижающая требования к памяти за счёт сжатия KV-кэша, и Multi-Token Prediction (MTP), поддерживающая ускоренную спекулятивную или параллельную генерацию. Модель ориентирована на высокопроизводительный инференс в формате fp8; также доступна версия bf16. В README указана поддержка русского и английского языков, а обучающие данные охватывают всего 10 языков, включая китайский, арабский, узбекский и казахский. Размер контекста в доступных данных не указан. К сильным сторонам относятся высокая пропускная способность, сниженные требования к памяти благодаря MLA и потенциальное ускорение генерации до 40% при использовании MTP. Приведённые бенчмарки показывают конкурентные результаты в русскоязычных и англоязычных задачах, математике и программировании, однако показатели зависят от методики оценки и конфигурации инференса. Ограничения модели, включая возможные ошибки, галлюцинации и неравномерное качество по языкам и задачам, отдельно не описаны. Лицензия модели — MIT.