I.6Перевод и языковая адаптация

unsloth/gemma-3-27b-it — мультимодальная инструктивная модель семейства Gemma 3, опубликованная Unsloth на основе Google/gemma-3-27b-it. Это плотная архитектура Gemma 3 с 27 млрд параметров, предназначенная для диалогов и генерации текста по текстовым и визуальным запросам; принимает изображения, отвечает на вопросы о них, а также поддерживает суммаризацию и рассуждения. Контекстное окно составляет 128 тыс. токенов, модель поддерживает более 140 языков; в метаданных карточки указан английский язык. Веса опубликованы в формате safetensors и доступны по лицензии Gemma. Модель подходит для чат-ботов и виртуальных помощников, составления и редактирования текстов, краткого пересказа документов, извлечения сведений из изображений и ответов на вопросы по визуальному содержимому. Карточка описывает базовые возможности Gemma 3 и инструменты Unsloth для дообучения и экспорта, но не приводит сведений об отдельном дообучении именно этой копии. Возможны фактические ошибки, трудности с языковыми нюансами и сложными открытыми задачами; результаты также зависят от обучающих данных и формулировки запроса.

DevQuasar публикует версию IBM Granite-4.1-8B в формате GGUF F16. Модель основана на ibm-granite/granite-4.1-8b и предназначена для генерации текста в диалоговом формате; карточка базовой модели описывает её как многоязычную инструктивную модель IBM для диалоговых помощников, работы с текстом и кодом, а также вызова инструментов. Репозиторий указывает на GGUF F16; конкретные параметры запуска и длина контекста в предоставленных данных не приведены. Лицензия в данных не указана.

Это версия NVIDIA-Nemotron-3-Nano-30B-A3B-BF16, преобразованная сообществом mlx-community в формат MLX для запуска с mlx-lm. Модель предназначена для генерации текста и диалогового взаимодействия. Базовая модель NVIDIA ориентирована на рассуждения, программирование и создание агентных приложений; в карточке также заявлена поддержка английского, испанского, французского, немецкого, японского и итальянского языков. В названии указана точность 5 бит. README сообщает о преобразовании исходной BF16-модели в формат MLX с помощью mlx-lm 0.29.1; метаданные указывают библиотеку MLX и формат файлов safetensors. Лицензия обозначена как other, поэтому конкретные условия использования следует сверить с лицензией базовой модели и файлами репозитория. Данных о длине контекста в предоставленных источниках нет.

Это 6-битная квантизированная версия языковой модели NVIDIA Nemotron 3 Nano 30B A3B, подготовленная командой LM Studio с помощью mlx_lm для работы на устройствах Apple Silicon. Модель основана на NVIDIA-Nemotron-3-Nano-30B-A3B-BF16; архитектура исходной модели сочетает гибридный подход и MoE с 30 млрд параметров, из которых около 3 млрд активируются на токен. Исходная модель рассчитана на диалоги, рассуждения, программирование и создание агентных приложений, поддерживает длинный контекст и шесть языков: английский, испанский, французский, немецкий, японский и итальянский. Эту сборку можно использовать для генерации текста, диалогов и вызова инструментов в приложениях на Apple Silicon. Квантизация уменьшает требования к памяти по сравнению с BF16, но может влиять на точность ответов. В README не приведены длина контекста и условия лицензии именно для этой сборки; лицензия в метаданных обозначена как other. Модель может выдавать неточные или нежелательные ответы.

Chungulus/Qwen3.8-27B-Q5_K_M-GGUF — это независимая vanilla-квантизация базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель представлена в формате GGUF с квантизацией Q5_K_M для запуска через llama.cpp; это не дообучение, объединение моделей или изменение шаблона чата. В комплект входят основные веса объёмом около 19,536 ГБ и отдельный vision projector, а общий размер репозитория составляет около 20,476 ГБ. Модель предназначена для генерации текста, вызова инструментов, анализа изображений и видео, а также сценариев с управляемым режимом рассуждений через параметры enable_thinking, reasoning_effort и preserve_thinking. Она использует гибридную архитектуру с Gated DeltaNet и полным attention, поддерживает мультимодальный pipeline image-text-to-text, нативный формат вызова инструментов и сохранённые MTP-тензоры, однако спекулятивное ускорение не заявлено. Точные языки и максимальный контекст в README не указаны; архитектурный максимальный контекст не следует считать проверенным. К сильным сторонам относятся сохранение функциональности исходной модели, проверенная генерация текста, tool calling, работа с изображениями и сохранённый шаблон чата. К ограничениям относятся возможное снижение качества из-за квантизации, требования к совместимости runtime с гибридным языковым графом, vision tower, tokenizer и MTP-метаданными, а также необходимость примерно 24 ГБ доступной памяти с дополнительным ростом потребления из-за KV-cache. Модель и её vanilla-квантизация распространяются по лицензии Apache-2.0.

MIRALABS/Qwen3.8-27B-W4A16-AutoRound — 4-битная квантованная версия модели Qwen/Qwen3.8-27B, разработанная MIRALABS на основе базовой модели Qwen. Модель предназначена для генерации текста и обработки изображений с текстом; заявлены английский и китайский языки. Поддерживает рассуждения, вызов инструментов и работу в режиме image-text-to-text. Модель использует INT4-квантизацию весов при BF16-активациях (W4A16), алгоритм AutoRound 0.14.2 с размером группы 128 и формат compressed-tensors для ядер Marlin в vLLM. Размер файлов составляет около 19,5 ГБ. Нативный контекст — 262 144 токена, а с YaRN заявлена поддержка до 1 000 000 токенов. Квантование заметно снижает требования к памяти по сравнению с версией BF16, при этом запуск рассчитан на видеокарты Ampere и новее, включая RTX 3090, RTX 4090 и A100. Сильными сторонами являются большой контекст, поддержка мультимодального ввода, режима рассуждений и эффективный запуск через vLLM на распространённых GPU. Ограничения связаны с требованиями к видеопамяти: на одной RTX 3090 веса помещаются, но полный контекст 262 144 токена недоступен; для длинного контекста рекомендуется несколько GPU или другой формат. Модель использует AutoRound, а не AWQ, GGUF или NVFP4. Распространяется по лицензии Apache 2.0, как и базовая модель.

RadixArk Qwen3.8-Flash-Next-NVFP4 — кандидатный релиз RadixArk, представляющий квантованную версию мультимодальной модели Qwen3.8-Flash-Next. Это гибридная архитектура Transformer с Mixture-of-Experts, объединяющая GDN и разреженное QSA-внимание, multi-hyperconnection streams и PLE n-gram injection. Модель содержит около 180 млрд параметров, 48 декодерных слоёв, до 512 маршрутизируемых экспертов на MoE-слой с маршрутизацией top-10, общий эксперт и один MTP-слой. Модель принимает текст, изображения и видео, а выдаёт текст; заявленная длина контекста — до 262 тысяч токенов. Она предназначена для оценки инференса Qwen3.8-Flash-Next в задачах агентных систем, диалогов, программирования и мультимодального рассуждения. Квантование выполнено с помощью NVIDIA Model Optimizer по схеме NVFP4 W4A4 преимущественно для маршрутизируемых экспертов; размер контрольной точки уменьшен примерно с 360 до 135 ГБ. Для запуска указана интеграция с SGLang и поддержка GPU NVIDIA Blackwell, включая GB300 и B300, в Linux. По приведённым оценкам, квантование сохраняет качество в однопроходных задачах GSM8K и AIME, однако длительные агентные генерации могут выполняться дольше, чем в BF16-версии. Модель может порождать неточные, неполные, избыточные или токсичные ответы и воспроизводить предвзятость обучающих данных. Лицензия обозначена как other; условия использования необходимо смотреть у исходной модели Qwen3.8-Flash-Next.

Qwen3-VL-30B-A3B-Instruct-AWQ — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3-VL-30B-A3B-Instruct, разработанной Qwen и опубликованной в репозитории dark-side-of-the-code. Модель предназначена для генерации текста по текстовым и визуальным запросам, включая понимание изображений, распознавание текста на изображениях, работу со структурированными ответами и вызов инструментов. Она рассчитана прежде всего на эффективное локальное развертывание через vLLM, в том числе на одной видеокарте с 24 ГБ памяти. Архитектура и поведение соответствуют базовой модели Qwen3-VL-30B-A3B-Instruct. Используется MoE-архитектура с 30 млрд параметров и примерно 3 млрд активных параметров; языковые веса сжаты до 4 бит по схеме W4A16 с размером группы 128, тогда как vision tower, MoE-router и lm_head сохранены в полной точности. Поддерживается мультимодальный ввод; в приведённой конфигурации проверена работа с несколькими изображениями и контекстом до 48 000 токенов при использовании FP8 KV-кэша. Размер файлов модели составляет около 17,8 ГБ. К сильным сторонам относятся существенное снижение требований к памяти, высокая скорость декодирования и сохранение возможностей базовой модели в задачах текста, OCR, структурированной генерации и tool calling. К ограничениям относятся небольшое снижение точности относительно версии bf16, зависимость от совместимой версии vLLM и необходимость настройки параметров обслуживания; данные о поддерживаемых языках отдельно не указаны. Модель распространяется по лицензии Apache-2.0.

nakedlittlezombie/Qwen3-VL-8B-Thinking-heretic — мультимодальная модель класса image-text-to-text из семейства Qwen3-VL, разработанная командой Qwen; данный репозиторий содержит веса версии Qwen3-VL-8B-Thinking. В README не приведено отдельное описание изменений варианта «heretic» относительно базовой модели. Модель предназначена для совместного понимания и генерации текста по изображениям и видео, визуального восприятия и рассуждений, OCR, анализа документов, STEM- и математических задач, пространственного анализа, генерации Draw.io/HTML/CSS/JS по визуальным материалам, а также взаимодействия с графическими интерфейсами и инструментами. Она может использоваться в сценариях визуальных агентов, анализа длительных видео и многошагового мультимодального вывода. Указан размер 8B параметров и Thinking-режим с усиленным рассуждением; архитектура заявлена как dense, а модель поддерживает текстовые, графические и видеовходы. Среди архитектурных особенностей названы Interleaved-MRoPE для временных и пространственных измерений, DeepStack для объединения многоуровневых признаков ViT и выравнивание текста с временными метками. Контекст составляет 256K токенов с возможностью расширения до 1M. OCR поддерживает 32 языка, однако полный перечень языков не указан. Сильными сторонами являются визуальное и пространственное рассуждение, обработка длинного контекста, видео и документов, а также агентные сценарии. Ограничения и точные показатели производительности в текстовом виде не приведены. Модель распространяется по лицензии Apache-2.0.

Trillion-7B-preview — предварительная версия языковой модели, представленная командой TrillionLabs. Это плотная авторегрессионная модель семейства Llama с архитектурой Transformer Decoder, RoPE, SwiGLU и RMSNorm; в README указано 7,76 млрд параметров, 32 слоя и контекст 4096 токенов. Модель прошла предварительное обучение и последующее обучение для диалогов и выполнения инструкций. Модель предназначена для генерации текста, общения, ответов на вопросы, рассуждений и помощи с кодом. Разработчики заявляют поддержку английского, корейского, японского и китайского языков и отмечают особенно сильные результаты на корейских тестах. В опубликованных оценках модель показывает конкурентные результаты, однако качество зависит от задачи и языка. Это предварительный выпуск без комплексных механизмов безопасности; сведения модели ограничены данными до августа 2023 года, а для языков помимо английского, корейского, японского и китайского возможно снижение качества. Лицензия репозитория — Apache-2.0.

YAYI2-30B — базовая версия мультиязычной большой языковой модели, разработанной компанией Wenge Technology (中科闻歌). Модель построена на архитектуре Transformer с плотной причинно-языковой архитектурой YayiForCausalLM и содержит 36,3 млрд параметров по метаданным; в README масштаб обозначен как 30B. Она предварительно обучена на 2,65 трлн токенов качественных многоязычных данных. Контекст — до 4096 токенов. Модель предназначена для генерации текста и может служить основой для прикладных решений, включая понимание языка, ответы на вопросы, математические и логические рассуждения, а также генерацию кода. В README упомянуты дообучение на инструкциях и RLHF для семейства YAYI 2, однако этот выпуск обозначен как Base-модель. Репозиторий содержит веса PyTorch. Для запуска BF16/FP16 требуется не менее 80 ГБ видеопамяти; README рекомендует Python 3.8+, PyTorch 2.0.1+ и CUDA 11.7+. Лицензия указана как other, поэтому условия использования следует сверить с файлами лицензии репозитория. Описание не устанавливает точный перечень поддерживаемых языков.

LFM2.5-2.6B — компактная текстовая модель Liquid AI из семейства гибридных LFM2.5, настроенная для локального запуска на устройствах и агентных сценариев. Это дообученная версия LFM2.5-2.6B-Base с 2,6 млрд параметров; архитектура LFM2 использует 30 слоёв, включая блоки свёртки с двойным гейтингом и слои GQA. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и работает с 17 языками, включая русский. Модель предназначена для вызова инструментов, следования инструкциям, многошаговых агентных задач, извлечения данных, RAG и работы с длинным контекстом. В карточке заявлены скорость до 220 токенов в секунду на Apple M5 Max и до 113 токенов в секунду на процессоре AMD Ryzen при использовании менее 2,5 ГБ памяти; фактические показатели зависят от оборудования и конфигурации. Liquid AI не рекомендует её для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other; её условия следует уточнить в репозитории модели.

Qwen3.5-122B-A10B-NVFP4-Full-GB10 — мультимодальная квантованная версия модели Qwen/Qwen3.5-122B-A10B. Квантование выполнено с помощью llm-compressor по схеме NVFP4 W4A4: линейные слои, включая lm_head, используют 4-битные веса, а vision encoder сохранён в BF16. Модель предназначена для запуска и вывода на NVIDIA DGX Spark с чипом GB10 и обслуживается через vLLM при использовании специальной поддержки для NVFP4 lm_head. Архитектура включает 48 слоёв гибридного внимания, из которых 36 используют GDN/Gated-DeltaNet, а 12 — полноценное внимание, 256 маршрутизируемых экспертов и один общий эксперт на слой; активируются 8 экспертов. Размер скрытого представления — 3072, словарь содержит 248 320 токенов, заявленный контекст — до 262K токенов. Модель поддерживает обработку текста и изображений, однако языки в README не указаны. На DGX Spark заявлена скорость последовательной генерации около 33–35 токенов в секунду. Главное преимущество модели — максимальная скорость декодирования среди описанных вариантов и сниженные требования к памяти: размер контрольной точки составляет около 66 ГБ. Ограничением является небольшое ухудшение качества по сравнению с вариантом FP8Dense, особенно в понимании и передаче нюансов при длительном использовании; 4-битные активации и квантованный lm_head слегка уплощают распределение выходов. В контрольной точке отсутствуют веса MTP, поэтому спекулятивное декодирование недоступно. Модель распространяется по лицензии Apache-2.0.

FreedomAISVR/Qwen3.5-4B-Instruct-MTP-MXFP4-GGUF — мультимодальная модель для генерации текста и понимания изображений, представленная в формате GGUF. По карточке, она основана на Qwen3.5-4B и распространяется в виде MXFP4-квантизированных весов; для обработки изображений используется отдельный проектор SigLIP в F16. Модель рассчитана на многоязычные инструкции, диалог, рассуждения и вызов инструментов; также заявлена поддержка видео. Режим рассуждений по умолчанию выключен. Архитектура включает 32 блока Transformer с гибридными механизмами внимания, FFN и SSM, а также одну голову Multi-Token Prediction. Заявлено контекстное окно 262 144 токена. Карточка указывает поддержку английского, китайского и кода; метаданные также отмечают мультиязычность. Модель распространяется по лицензии Apache-2.0. Для работы с изображениями нужен файл мультимодального проектора; фактическая скорость и качество зависят от используемого оборудования и совместимого ПО.

Qwen3.8-27B-abliterated-AWQ-MTP — квантизированная модель, опубликованная пользователем twolven на базе JonathanColetti/Qwen3.8-27B-Uncensored и исходной Qwen3.8-27B от Qwen. Модель использует AWQ-квантизацию W4A16 с размером группы 128, сохраняя модуль MTP для speculative decoding. Лицензия — Apache-2.0. Модель предназначена для генерации и понимания текста, диалоговых приложений, tool calling и обработки изображений с текстовыми запросами. Это vision-language model с гибридной архитектурой: 64 слоя, включая 48 слоёв linear attention на базе Qwen3_5GatedDeltaNet и 16 полноценных attention-слоёв. Зрительная башня содержит 27 слоёв и оставлена в формате bfloat16. Заявленный контекст — 262 144 токена; модуль MTP содержит один скрытый слой и также не квантизирован. Ключевые преимущества — заметно меньшее потребление памяти по сравнению с FP8-версией, поддержка изображений без дополнительного ухудшения со стороны квантизации vision tower и ускорение генерации при корректно работающем MTP. На конфигурации с двумя RTX 3090 автор получил медианную скорость около 84 токенов в секунду и подтвердил работу извлечения данных из длинного контекста, tool calling и распознавания содержимого изображений. Точность относительно исходной bfloat16-модели отдельно не оценивалась, поэтому степень потери качества из-за W4A16 неизвестна. Модель имеет ограничения: MTP требует правильной настройки и при некорректной загрузке может снизить производительность; абсолютные показатели скорости зависят от характера запросов. Не рекомендуется использовать greedy decoding с temperature 0, поскольку возможны зацикливание и повторение предложений. Следует применять repetition_penalty около 1.05 и ненулевую temperature. Термин «abliterated» означает удаление исходных механизмов отказа, поэтому поведение модели в отношении безопасных ограничений может отличаться от оригинальной Qwen3.8-27B.

Qwen3.8-27B-MLX — сборка официальной модели Qwen/Qwen3.8-27B, разработанной командой Qwen и адаптированной OrcaRouter для MLX. Это мультимодальная vision-language модель с поддержкой текста и изображений, ориентированная на запуск на устройствах Apple Silicon. Заявлены английский и китайский языки, управление режимом рассуждений, вызов инструментов и Multi-Token Prediction (MTP) для ускорения спекулятивной генерации. Модель имеет 27 миллиардов параметров и плотную гибридную архитектуру, сочетающую линейное внимание Gated DeltaNet с полноразмерным attention. Доступны аффинные варианты квантования на 4, 6 и 8 бит: примерно 16, 24 и 31 ГБ соответственно. Визуальная башня, нормализационные и свёрточные слои сохраняются в BF16, а линейные веса языковой модели квантуются. Вариант 8-bit обеспечивает качество, близкое к BF16, 6-bit предлагает компромисс между качеством и объёмом, а 4-bit предназначен для повседневного использования при меньших требованиях к памяти. Модель подходит для диалоговых приложений, анализа изображений, генерации текста, задач рассуждения и сценариев с вызовом функций. Для ускорения генерации доступен отдельный MTP-драфтер, совместимый с любой основной точностью. Ограничениями являются значительные требования к оперативной памяти, зависимость от актуальных версий mlx-vlm и MLX, а также преимущественная ориентация на Apple Silicon; для vision-режима на CUDA требуется дополнительная настройка. Репозиторий распространяется по лицензии Apache 2.0.

Карточка модели unsloth/Qwen3-Next-80B-A3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen3-Next-80B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Next-80B-A3B-Instruct — языковая модель от команды Qwen, предназначенная для диалогов, генерации текста и сценариев с вызовом инструментов. Это причинная модель семейства Qwen3-Next с разреженной архитектурой смеси экспертов (MoE), гибридной обработкой контекста через Gated DeltaNet и Gated Attention и поддержкой ускорения вывода с помощью Multi-Token Prediction. В модели 80 млрд параметров, из которых активируются около 3 млрд на токен; при этом метаданные Hugging Face указывают размер 2,3 млрд параметров. Модель рассчитана на инструкции в обычном, нетщательном режиме и поддерживает контекст до 262 144 токенов; в README описано расширение контекста примерно до миллиона токенов с YaRN. Подходит для длинных диалогов и документов, генерации ответов и агентных сценариев с инструментами. Карточка сообщает о результатах на ряде бенчмарков, но не приводит полный набор таблиц в предоставленном тексте. Лицензия Apache-2.0.

Qwen3-VL-2B-Thinking-1M-GGUF — мультимодальная vision-language модель семейства Qwen3-VL, разработанная командой Qwen и представленная в формате GGUF со сборкой и исправлениями chat template от Unsloth. Модель предназначена для понимания и генерации текста по изображениям, анализа видео, OCR, визуального рассуждения, решения STEM- и математических задач, пространственного анализа, визуального программирования и взаимодействия с графическими интерфейсами через инструменты. Модель содержит около 2 млрд параметров и относится к Thinking-редакции с усиленным рассуждением. Она поддерживает текстово-визуальные входы, распознавание объектов, документов и сцен, анализ временных событий в видео, а также работу с длинным контекстом: заявлена нативная длина 256K токенов с возможностью расширения до 1M. Для архитектуры указаны механизмы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками, улучшающие обработку пространственных, визуальных и видеоданных. OCR заявлен для 32 языков. Сильные стороны модели — сочетание компактного размера, мультимодального рассуждения, расширенного контекста, анализа видео и возможностей visual agent. Ограничения связаны с меньшим размером по сравнению с крупными версиями Qwen3-VL, а также с тем, что конкретные параметры GGUF-квантизации и результаты тестов для данного файла в README не указаны. Для работы с llama.cpp рекомендуется включать параметр --jinja. Модель распространяется по лицензии Apache-2.0.

AI21-Jamba-Reasoning-3B — компактная модель рассуждений компании AI21 для генерации текста и диалогов. Она предназначена для решения задач, требующих пошагового анализа, и работы с длинными входными материалами; в карточке заявлено преимущество на совокупности нескольких интеллектуальных бенчмарков по сравнению с рядом моделей сходного размера. Модель содержит около 2,3 млрд параметров по метаданным каталога. Её гибридная архитектура Jamba сочетает слои Transformer и Mamba: 26 слоёв Mamba и 2 слоя внимания, 20 голов внимания с multi-query attention и словарь размером 64 тыс. токенов. Контекст достигает 262 144 токенов. Модель принимает текст и генерирует текст; в метаданных также заявлен интерфейс для вызова инструментов. Поддерживаются английский, испанский, французский, португальский, итальянский, нидерландский, немецкий, арабский и иврит. AI21 рекомендует запуск через vLLM версии 0.11.0 или выше с настройкой кэша Mamba; README также описывает локальный запуск через отдельную GGUF-сборку. Репозиторий распространяется под лицензией Apache-2.0. Практические ограничения: опубликованные в README сравнительные результаты приведены не для всех конкурентов в доступном фрагменте, а обучение через VeRL на момент карточки ещё описано как будущее расширение.

Apertus-v1.5-70B-FP8 — квантованный чекпойнт мультимодальной модели Apertus 1.5 70B, разработанной Swiss AI и опубликованной onprem-ai. Модель предназначена для генерации и обработки текста, а также работы с изображениями и аудио; поддержка мультимодальных возможностей исходной модели сохранена. В README языки и точное устройство базовой архитектуры не указаны. Веса сжаты методом FP8_DYNAMIC для линейных проекций, тогда как lm_head, эмбеддинги, vision tokenizer и audio tokenizer остаются в BF16. Размер чекпойнта составляет около 71 GiB против 135 GiB у исходной BF16-версии, при этом на тесте MMLU заявлена отсутствие измеримой потери качества. На видеокарте с 96 GiB памяти после загрузки весов остаётся примерно 14 GiB под KV-кэш, что позволяет получить около 60 тысяч токенов контекста при использовании FP8 KV-кэша; это оценка для конкретного сценария развертывания, а не явно указанное максимальное окно контекста. Модель подходит для локального и серверного инференса, включая мультимодальные приложения, вызов инструментов и задачи рассуждения при наличии соответствующей поддержки. Основные преимущества — высокое сохранение качества исходной модели, почти двукратное сокращение занимаемой памяти и сохранённые возможности работы с изображениями и аудио. Ограничения включают требование vLLM с поддержкой архитектуры Apertus 1.5, несовместимость с SGLang для compressed-tensors, а также необходимость примерно 96 GiB GPU-памяти для полноценного мультимодального запуска; для текстового инференса с коротким контекстом может подойти карта на 80 GiB. Модель распространяется по лицензии Apache 2.0.

QuantFactory/Llama-3.1-Storm-8B-GGUF — квантизированная версия модели Llama-3.1-Storm-8B, созданная с помощью llama.cpp. Исходную модель разработали Ashvini Kumar Jindal, Pawan Kumar Rajpoot, Ankur Parikh и Akshita Sukhlecha. Она основана на Llama-3.1-8B-Instruct и дополнительно обучена с применением целевого fine-tuning и объединения с Llama-Spark методом SLERP. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, ответов на вопросы, рассуждений и function calling. Заявлены улучшения по сравнению с Meta-Llama-3.1-8B-Instruct в instruction following, knowledge-driven QA, reasoning, truthful answer generation и агентских сценариях. В частности, авторы сообщают о лучших результатах на IFEval, GPQA, MMLU-Pro, ARC-C, MuSR, BBH, TruthfulQA и BFCL. Квантизация ориентирована на запуск модели с более ограниченными вычислительными ресурсами. Модель имеет около 8 миллиардов параметров и работает с текстом. В README указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Размер контекстного окна и конкретные варианты квантизации в представленном описании не указаны. GGUF-формат предназначен для использования в совместимых инструментах экосистемы llama.cpp, включая Ollama. Модель позиционируется как универсальная и улучшенная в следовании инструкциям, рассуждениях, function calling и снижении галлюцинаций, однако заявленные преимущества основаны на бенчмарках авторов и могут зависеть от сценария и настроек запуска. Условия использования определяются лицензией llama3.1; дополнительные ограничения или требования в README не приведены.

MiniMax-M3-AWQ-int4 — это 4-битная квантованная версия модели MiniMax-M3, разработанной MiniMaxAI, подготовленная репозиторием spectator2026 для запуска на видеокартах NVIDIA A100 через vLLM. Модель предназначена для генерации текста и обработки изображений с поддержкой tool calling, рассуждений и режимов thinking/non-thinking. Она рассчитана на использование в серверных системах, где важны большой контекст и эффективное размещение крупной MoE-модели на оборудовании с архитектурой Ampere. Модель содержит около 428 млрд параметров, из которых примерно 23 млрд активируются на токен, и использует разреженную архитектуру Mixture of Experts с MiniMax Sparse Attention. Заявлен нативный контекст до 1 048 576 токенов, а также мультимодальность text + vision. Применена квантовка AWQ W4A16 с group size 128 только к маршрутизируемым экспертным проекциям MoE; attention, router, общие и плотные слои, embeddings, lm_head и vision tower сохранены в более высокой точности. Размер весов уменьшен примерно с 796 до 225 ГБ. Сильными сторонами являются поддержка текста и изображений, очень длинного контекста, инструментов и рассуждений, а также возможность запуска на A100 в конфигурациях TP-8 или TP-4. Для работы требуется vLLM с тремя специальными патчами, параметр block size 128 и доверие удалённому коду. Ограничения включают высокие требования к GPU-памяти, необходимость ручной настройки vLLM и компромисс между длиной контекста и количеством реплик. По данным README, расхождение с исходной bf16-версией на тесте wikitext составляет около 0,16 KL-дивергенции. Указана лицензия minimax-community; точные условия следует проверять в файле LICENSE.

unsloth/Qwen2.5-1.5B-unsloth-bnb-4bit — 4-битно квантованная версия базовой языковой модели Qwen2.5-1.5B, подготовленная Unsloth на основе Qwen/Qwen2.5-1.5B. Модель предназначена для генерации и продолжения текста, программирования, математических задач, обработки структурированных данных и последующего дообучения. Это текстовая, авторегрессионная causal language model без заявленной поддержки изображений или других модальностей. Ключевая особенность варианта — формат Unsloth Dynamic 4-bit Quant, который избирательно применяет квантование для снижения требований к памяти при сохранении качества по сравнению со стандартными 4-битными вариантами. Семейство Qwen2.5 поддерживает контекст до 128K токенов и генерацию до 8K токенов, а также более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Точные архитектурные параметры именно версии 1.5B в представленном README не указаны; приведённый там блок с характеристиками 0.5B относится к другой конфигурации. Модель выигрывает за счёт небольшого размера и сниженного потребления памяти, что делает её подходящей для локального запуска, экспериментов и эффективного fine-tuning. Как базовая, а не instruction-tuned модель, она не оптимизирована для диалогов без дополнительного дообучения и может требовать настройки шаблонов и параметров генерации. Лицензия — Apache-2.0.

nvidia/Qwen3-14B-FP8 — квантизированная версия авторегрессионной языковой модели Qwen3-14B, разработанной Alibaba и подготовленной NVIDIA с помощью TensorRT Model Optimizer. NVIDIA не является владельцем или разработчиком исходной модели; компания выпустила её FP8-вариант для заданных сценариев развертывания. Модель предназначена для генерации текста в AI-агентах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Она принимает текстовые последовательности и возвращает текст. Модель имеет архитектуру Transformer, около 14,8 млрд параметров и контекстное окно до 131 тысячи токенов. Поддерживается только текстовая модальность; конкретный набор языков в README не указан. Вариант FP8 квантизирует веса и активации линейных операторов внутри блоков Transformer, что делает модель ориентированной на эффективный инференс с TensorRT-LLM. Указана совместимость с GPU-архитектурой NVIDIA Blackwell, операционной системой Linux и тестовым оборудованием NVIDIA B200. Ограничения включают зависимость от поддерживаемого NVIDIA-стека и отсутствие опубликованных в README сведений о результатах тестирования, обучающих данных и языковых характеристиках. Калибровка выполнялась на датасете cnn_dailymail, а остальные сведения о наборах данных не раскрыты. Модель доступна для коммерческого и некоммерческого использования по лицензии Apache License 2.0. Перед применением разработчикам рекомендуется самостоятельно оценить качество, безопасность и соответствие модели требованиям конкретной отрасли и сценария.

trohrbaugh/Qwen3.5-122B-A10B-heretic — мультимодальная разговорная модель на основе Qwen3.5, опубликованная пользователем trohrbaugh. Это вариант с abliteration: в README указано, что на тесте из 100 запросов отказов было 9 против 99 у исходной модели; приведённое значение KL divergence — 0,0916. Модель принимает текст и изображения и предназначена для диалога, визуального понимания, рассуждений и использования инструментов. Архитектура сочетает vision encoder, Gated Delta Networks и разреженный Mixture of Experts: всего 122 млрд параметров, из которых активны 10 млрд; 48 слоёв, 256 экспертов, из которых на токен активируются 8 маршрутизируемых и 1 общий. Контекст — 262 144 токена с расширением до 1 010 000. Репозиторий содержит веса в формате safetensors для Transformers и совместимых движков. README сообщает об исправлении раскладки MoE-весов 2 мая 2026 года и рекомендует заново получить репозиторий, если он был клонирован раньше. Модель поддерживает широкий набор языков; в README для семейства Qwen3.5 заявлена поддержка 201 языка и диалекта. Лицензия — Apache-2.0. Показатель отказов относится только к описанному в карточке тесту и не гарантирует поведение на других запросах; характеристика abliteration также не означает отсутствия всех ограничений или защитных механизмов.

Qwen3.5-9B-NVFP4 — квантизированная версия модели Qwen3.5-9B, разработанной командой Qwen и опубликованной в репозитории apolo13x. Это мультимодальная модель формата image-text-to-text: она принимает текст и изображения, а генерирует текстовые ответы. Модель предназначена для диалоговых сценариев, анализа изображений и решения текстовых задач. Веса и активации сжаты до формата NVFP4 (4-bit) с помощью llm-compressor. Для калибровки использовано 512 образцов из набора nvidia/Nemotron-Post-Training-Dataset-v2, включая 256 примеров с рассуждением и 256 без него. Размер модели уменьшен с 18,0 до 11,5 ГБ, примерно в 1,6 раза; заявленное среднее восстановление точности составляет 97,3%. Максимальная длина последовательности при калибровке — 4096 токенов. По результатам оценки в режиме рассуждений модель набрала в среднем 86,11% против 88,36% у исходной Qwen3.5-9B: 74,24% на GPQA Diamond, 92,69% на IFEval и 91,39% на MMLU-Redux. Квантизация снижает требования к хранению и инференсу, но может приводить к некоторой потере качества относительно исходной модели. Указана поддержка vLLM 0.17.0 и reasoning parser qwen3. Модель распространяется по лицензии Apache-2.0.

mmangkad/Qwen3.6-35B-A3B-NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3.6-35B-A3B, разработанной Alibaba и подготовленной с использованием NVIDIA Model Optimizer. Модель предназначена для генерации текста и может применяться в AI-агентах, чат-ботах, RAG-системах и других приложениях на базе ИИ. Модель построена на архитектуре Transformers и имеет 35 млрд параметров, из которых 3 млрд активируются при работе. Она принимает и генерирует текст, поддерживает контекст длиной до 262 тысяч токенов. Веса и активации линейных операторов в MoE-компонентах transformer-блоков квантизированы в формат NVFP4, что ориентировано на эффективный инференс на GPU NVIDIA. Указана совместимость с NVIDIA Blackwell, Linux и SGLang; тестирование проводилось на B300. Данные о поддерживаемых языках и полном составе обучающего набора не раскрыты. Сильные стороны модели — предварительная NVFP4-квантизация, большой контекст и оптимизация для развертывания на совместимом оборудовании NVIDIA. Для запуска требуется SGLang, по README рекомендуется актуальная версия из основной ветки. Модель может воспроизводить токсичные формулировки и общественные предубеждения из исходных данных, а также генерировать неточные, неполные или нерелевантные ответы. Распространение и использование разрешены по лицензии Apache 2.0 с учетом требований и ограничений базовой модели.

Bazwilks/Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking-NEO-CODE-Di-IMatrix-MAX-GGUF — GGUF-квантизированная языковая модель, опубликованная Bazwilks и основанная на Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking. В README также указаны разработки и методы DavidAU, включая обучение через Unsloth, датасеты TeichAI/claude-4.5-opus-high-reasoning-250x и DavidAU/PkDick-Deckard-5-Datasets, а также специальные процедуры квантизации NEO-CODE-Di-IMatrix-MAX. Модель предназначена для широкого круга задач: диалогов, рассуждений, программирования, математики, творческого письма, генерации сюжетов и сцен, ролевых сценариев и работы с текстами различных жанров. Заявлены английский и китайский языки, поддержка изображений через отдельный mmproj-файл и контекст до 256K токенов. Архитектура плотная, не MoE, содержит около 40 миллиардов параметров, 96 слоёв и 1275 тензоров; предусмотрен режим переменной длины рассуждений. К сильным сторонам относятся большой контекст, акцент на рассуждениях, коде и творческих задачах, а также набор квантизаций с разным компромиссом между качеством и требованиями к ресурсам. Модель позиционируется как uncensored и unfiltered, поэтому может генерировать небезопасный или NSFW-контент; это одновременно ограничение для сценариев с повышенными требованиями к модерации. Для работы с изображениями требуется совместимый mmproj-файл. Указанная лицензия — Apache-2.0.

Primitive-AI Qwen3.8-27B-mixed-NVFP4-FP8 — это квантизированная версия модели Qwen/Qwen3.8-27B, опубликованная организацией Primitive AI. Модель предназначена для генерации текста, задач общего назначения и сценариев с инструментальным вызовом. Она поддерживает работу через Transformers и stock vLLM, а также speculative decoding с сохранённой MTP-головой. Модель использует смешанную квантизацию NVFP4/FP8 и занимает около 20,7 GiB — примерно в 2,5 раза меньше версии BF16 и на 28% меньше собственной версии Qwen в FP8. Она протестирована на GPU Blackwell и A100: на Blackwell применяются нативные FP4/FP8-ядра, а на A100 используется fallback Marlin W·A16. В заявленных измерениях модель показала общую оценку 88,8 против 89,3 у BF16, пропускную способность 908 токенов в секунду при конкуренции 32 и до 2,5-кратного ускорения при конкуренции 1. К сильным сторонам относятся существенно сниженное потребление памяти, высокая скорость инференса, совместимость с обычным vLLM без калибровочных данных и сохранение возможностей speculative decoding, дающего прирост до 101% с DSpark drafter. Ограничения связаны с потерями точности относительно BF16, особенностями поддержки аппаратных платформ и тем, что приведённые результаты получены на конкретном наборе из 1370 заданий и не гарантируют аналогичную производительность в других сценариях. Языки, максимальный контекст и точная архитектура в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-MXFP8 — это квантизированная версия мультимодальной модели Qwen3.8-27B, опубликованная пользователем chriswritescode на базе модели Qwen/Qwen3.8-27B. Квантизация выполнена с помощью NVIDIA TensorRT Model Optimizer 0.45.0 по схеме MXFP8 (OCP microscaling FP8, размер блока 32). Модель предназначена для задач генерации текста и изображений с текстом, включая диалоговые сценарии, работу с кодом, мультимодальный анализ и использование инструментов через совместимые серверы инференса. Размер контрольной точки составляет 32 ГБ в восьми сегментах. Квантизированы линейные слои языковой модели, тогда как vision tower, отдельные компоненты гибридного внимания, embed_tokens, lm_head и встроенная MTP-голова сохранены в BF16. KV-кэш не квантизирован; поддерживается speculative decoding через MTP. Заявленный контекст — до 262 144 токенов при конфигурации vLLM из README. Точные языки и полный набор модальностей базовой модели в README не описаны, однако указана проверка на многоязычных данных и наличие vision tower. По результатам специального сравнения с BF16-версией модель показала более низкую дивергенцию, чем официальная Qwen3.8-27B-FP8, однако эти измерения характеризуют близость распределений, а не качество выполнения прикладных задач; публичные task-бенчмарки для этой контрольной точки не проводились. Практическое ограничение — аппаратная зависимость MXFP8: нативная поддержка заявлена для Blackwell (SM100+). В vLLM модель работает на SM80+ через Marlin с вычислениями в BF16, тогда как SGLang без специального пути конвертации требует SM100+. Лицензия Apache 2.0, унаследованная от базовой модели.