I.5Создание и редактирование текста

Qwen3.6-35B-A3B-Heretic-REAP-0.30 — текстовая генеративная модель, опубликованная groxaxo как чекпойнт для совместимых сред Hugging Face. Это сжатая версия модели семейства Qwen3.5/3.6: в архитектуре MoE методом REAP удалено 30% маршрутизируемых экспертов — 256 сокращены до 180 на слой, при этом на токен активируются 8 экспертов. Гибридная архитектура включает 40 слоёв: 30 с линейным вниманием Gated-DeltaNet и 10 с обычным вниманием. Модель содержит 2,9 млрд параметров, поддерживает контекст до 262 144 токенов и работает только с текстом; мультимодальная башня зрения базовой Omni-модели удалена. Модель предназначена для генерации текста, диалогов, локального или размещённого инференса и воспроизводимых экспериментов. В карточке приведён результат MMLU 73,25% при оценке в 5 примеров на задачу; это результат указанной конфигурации, а не гарантия качества для других задач. Для Hugging Face Transformers описана загрузка на одном устройстве; разделение модели через device_map="auto" на несколько GPU может приводить к некорректной генерации. Для vLLM рекомендуется параллелизм по конвейеру. Модель выпущена под лицензией Apache-2.0. Маркер Heretic указывает на вариант с изменённым поведением или сниженной фильтрацией, но не гарантирует одинакового поведения во всех запросах и средах.

Это языковая модель семейства Qwen3.6, подготовленная пользователем Youssofal и упакованная для библиотеки MTPLX. Она предназначена для локальной генерации текста на компьютерах Apple Silicon, прежде всего для ускоренного инференса со speculative decoding и Multi-Token Prediction на моделях Mac с чипами M1–M5. Доступен OpenAI-совместимый локальный сервер через MTPLX. Модель имеет архитектуру Mixture-of-Experts и заявленный размер 35B с активной частью около 3B параметров (35B-A3B). Основное тело использует 4-битное квантование MLX affine, а плавающие тензоры BF16 преобразованы в FP16; упакованные квантованные тензоры сохранены без повторного квантования. Для ускорения применяются MTP-предсказания с рекомендуемой глубиной D1 и профилем sustained. README не указывает поддерживаемые языки, размер контекста и перечень модальностей, поэтому модель следует считать текстовой. Ключевая особенность варианта — совместимость с FP16-friendly путём на старых Apple Silicon, особенно M1 и M2, при сохранении целевого уровня скорости и качества исходного артефакта. Для M3, M4 и M5 MTPLX обычно выбирает обычную оптимизированную версию. По приведённому baseline скорость составляет 94,46 токена/с для авторегрессионного режима и 138,38 токена/с для режима D1, однако эти показатели являются данными исходного артефакта, а FP16-вариант должен быть к ним близок. Ограничения включают зависимость от MTPLX и Apple Silicon, а также отсутствие полноточного checkpoint: модель рассчитана на быстрое локальное использование, а не на работу в полном формате. Лицензия — Apache-2.0.

mmangkad/Qwen3.6-35B-A3B-NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3.6-35B-A3B, разработанной Alibaba и подготовленной с использованием NVIDIA Model Optimizer. Модель предназначена для генерации текста и может применяться в AI-агентах, чат-ботах, RAG-системах и других приложениях на базе ИИ. Модель построена на архитектуре Transformers и имеет 35 млрд параметров, из которых 3 млрд активируются при работе. Она принимает и генерирует текст, поддерживает контекст длиной до 262 тысяч токенов. Веса и активации линейных операторов в MoE-компонентах transformer-блоков квантизированы в формат NVFP4, что ориентировано на эффективный инференс на GPU NVIDIA. Указана совместимость с NVIDIA Blackwell, Linux и SGLang; тестирование проводилось на B300. Данные о поддерживаемых языках и полном составе обучающего набора не раскрыты. Сильные стороны модели — предварительная NVFP4-квантизация, большой контекст и оптимизация для развертывания на совместимом оборудовании NVIDIA. Для запуска требуется SGLang, по README рекомендуется актуальная версия из основной ветки. Модель может воспроизводить токсичные формулировки и общественные предубеждения из исходных данных, а также генерировать неточные, неполные или нерелевантные ответы. Распространение и использование разрешены по лицензии Apache 2.0 с учетом требований и ограничений базовой модели.

RedHatAI/Qwen3.6-35B-A3B-NVFP4 — предварительная NVFP4-квантизованная версия модели Qwen3.6-35B-A3B, разработанной Alibaba Cloud и опубликованной Red Hat AI. Веса и активации преобразованы в формат NVFP4 с использованием llm-compressor; модель распространяется в формате compressed-tensors и предназначена для запуска через vLLM. Модель ориентирована на генерацию текста, рассуждения, решение математических и академических задач, программирование, работу с инструментами и агентские сценарии. В метаданных также заявлена поддержка обработки изображений вместе с текстом. Поддерживаются tool calling и режим рассуждений Qwen3; для запуска рекомендуются reasoning parser qwen3, tool-call parser qwen3_coder, prefix caching и MoE-бэкенд flashinfer_cutlass. Вариант содержит 35 млрд параметров в MoE-архитектуре с конфигурацией A3B; максимальная длина контекста 96 000 токенов указана для проведённого запуска в vLLM. Языки модели в README не перечислены. Сильная сторона модели — существенное снижение требований к памяти благодаря квантизации весов и активаций при сохранении большей части качества исходной Qwen3.6-35B-A3B. По опубликованным тестам результаты близки к базовой модели на задачах GSM8K, GPQA, Math 500, MMLU-Pro и IFEval, однако наблюдается более заметное снижение на LiveCodeBench, BFCL Multi-Turn и SWE-bench Verified. Модель является предварительной версией и может изменяться; совместимость проверена с RHOAI 3.5, RHAIIS 3.5 и vLLM 0.24.0. Лицензия — Apache 2.0.

FreedomAISVR/Qwen3.6-35B-A3B-NVFP4-NoMTP-GGUF — пользовательская квантизированная сборка базовой модели Qwen3.6-35B-A3B от команды Alibaba Qwen в формате GGUF для генерации текста и диалогов. Это MoE-модель с 35 млрд параметров и примерно 3 млрд активных параметров на токен; сборка использует NVIDIA FP4 с эффективной точностью 4,55 бита на вес и удалёнными головами Multi-Token Prediction. Заявлена поддержка контекста до 131 тыс. токенов и многоязычных задач более чем на 100 языках. Сборка предназначена для локального запуска через llama.cpp на NVIDIA Blackwell, включая видеокарты RTX 50-й серии. В README приведены настройки для GPU с 16 ГБ видеопамяти: эксперты MoE размещаются в системной памяти с помощью --cpu-moe, а внимание остаётся на GPU. Удаление MTP-голов освобождает видеопамять для KV-кэша и весов экспертов. Базовая модель поддерживает использование инструментов; карточка этой сборки подтверждает чат-возможности. Модель подходит для локальных чат-ассистентов и генерации текста на многих языках. Ограничения: заявленный формат NVFP4 нацелен на GPU NVIDIA Blackwell и требует совместимых CUDA-ядер; веса занимают около 19,7 ГБ, поэтому 16-гигабайтной видеокарте требуется выгрузка экспертов в оперативную память. Лицензия базовой модели — Apache 2.0; отдельные условия лицензии этой сборки в предоставленных данных не описаны.

Qwen3.6-35B-A3B-OptiQ-4bit — это квантизированная версия языковой модели Qwen3.6-35B-A3B, подготовленная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для локальной генерации текста на компьютерах Apple Silicon через MLX, без PyTorch и облачных сервисов. Она подходит для диалога, рассуждений, программирования, извлечения информации из длинного контекста, вызова инструментов и агентских сценариев. Модель использует смешанную точность: большинство параметров представлены в 4-битном формате, а чувствительные слои — в 8-битном. Всего квантизировано 510 слоёв, размер группы — 64; 392 слоя имеют 8-битную, а 118 — 4-битную точность. Размер модели на диске составляет около 22,1 ГБ. В комплект входит MTP-голова для speculative decoding, которая при использовании mlx-optiq может ускорять декодирование примерно в 1,4 раза. Поддерживаются текстовые задачи; конкретные языки и размер контекста в README не указаны. К сильным сторонам относятся чувствительно-ориентированная квантизация, локальная работа на Apple Silicon и результаты, превосходящие равномерную 4-битную квантизацию по суммарному Capability Score, особенно в вызове функций и извлечении данных из длинного контекста. Ограничениями являются требования к памяти из-за размера около 22,1 ГБ, привязка к экосистеме MLX и Apple Silicon, а также небольшое снижение результатов в отдельных тестах по сравнению с равномерной 4-битной версией. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Nickyang выпустил производную модель Qwen3.6-35B-A3B, сокращённую методом RAZOR без дообучения. В каждом MoE-слое оставлено 128 из 256 маршрутизируемых экспертов; размер составляет 19,4 млрд параметров, или 19,0 млрд без модуля MTP, при этом на токен активно около 4 млрд параметров. Веса представлены в формате bfloat16 и safetensors; для запуска требуется сборка Transformers с поддержкой qwen3_5_moe. Модель предназначена для генерации текста и диалогов. Карточка описывает сокращение хранения экспертов при примерно неизменных вычислениях на токен; заявлена поддержка интерфейса вызова инструментов. Основа — Qwen/Qwen3.6-35B-A3B, лицензия Apache-2.0. Обрезка экспертов с потерями: ответы могут отличаться разнообразием, форматированием и поведением при завершении, даже если точность задач в основном сохраняется. Поведение на областях, далёких от калибровочного корпуса, не охарактеризовано; перед применением модель следует оценить на целевой нагрузке.

Карточка модели bernquant/Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking на Hugging Face совпадает с карточкой DavidAU/Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking, поэтому описание составлено по ней. Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking — мультимодальная плотная модель с обработкой изображений, созданная DavidAU на основе Qwen/Qwen3.6-27B. Автор описывает расширение модели с 27 до 40 млрд параметров и многоэтапное дообучение: на наборах Deckard/PDK и на данных дистилляции рассуждений Claude 4.6 Opus. Модель рассчитана на диалог, рассуждения, программирование и творческое письмо, включая создание сюжетов и ролевые сценарии; поддерживает вызов инструментов и анализ изображений. В карточке указана длина контекста 256 тыс. токенов, а также режим рассуждений с переменной длиной ответа. Заявления автора о превосходстве в тестах не сопровождаются в предоставленном тексте конкретными результатами, поэтому их следует считать заявлениями автора. README также описывает модель как uncensored и предупреждает о возможности генерации откровенного контента по запросу; отмечены возможные зацикливания на низких квантизациях или слишком коротких запросах. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0.

Bazwilks/Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking-NEO-CODE-Di-IMatrix-MAX-GGUF — GGUF-квантизированная языковая модель, опубликованная Bazwilks и основанная на Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking. В README также указаны разработки и методы DavidAU, включая обучение через Unsloth, датасеты TeichAI/claude-4.5-opus-high-reasoning-250x и DavidAU/PkDick-Deckard-5-Datasets, а также специальные процедуры квантизации NEO-CODE-Di-IMatrix-MAX. Модель предназначена для широкого круга задач: диалогов, рассуждений, программирования, математики, творческого письма, генерации сюжетов и сцен, ролевых сценариев и работы с текстами различных жанров. Заявлены английский и китайский языки, поддержка изображений через отдельный mmproj-файл и контекст до 256K токенов. Архитектура плотная, не MoE, содержит около 40 миллиардов параметров, 96 слоёв и 1275 тензоров; предусмотрен режим переменной длины рассуждений. К сильным сторонам относятся большой контекст, акцент на рассуждениях, коде и творческих задачах, а также набор квантизаций с разным компромиссом между качеством и требованиями к ресурсам. Модель позиционируется как uncensored и unfiltered, поэтому может генерировать небезопасный или NSFW-контент; это одновременно ограничение для сценариев с повышенными требованиями к модерации. Для работы с изображениями требуется совместимый mmproj-файл. Указанная лицензия — Apache-2.0.

Big-Pluto/Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking-NEO-CODE-Di-IMatrix-MAX-GGUF — GGUF-версия модели, разработанная на базе Qwen3.6 и опубликованная Big-Pluto; в README также указаны методы и наборы данных DavidAU, включая Claude 4.6 Opus High Reasoning и Deckard/PDK. Модель предназначена для универсального применения, включая рассуждения, программирование, математику, творческое и художественное письмо, ролевые сценарии и генерацию историй различных жанров. Заявлены 40 млрд плотных параметров, 96 слоёв и 1275 тензоров; модель описана как расширенная с 27B до 40B параметров и поддерживающая переменную длину рассуждений. Указан контекст до 256K токенов, языки English и Chinese, а также поддержка изображений через отдельный mmproj-файл, что соответствует мультимодальному сценарию image-text-to-text. Распространяются различные GGUF-квантизации с dual imatrix-настройками; для них заявлено сохранение значительной доли качества BF16, однако конкретные результаты зависят от выбранного кванта. Сильными сторонами заявлены развитое reasoning, работа с длинным контекстом, кодом и математикой, творческая выразительность и отсутствие цензурных ограничений. Ограничения включают значительные требования к памяти и вычислительным ресурсам из-за размера модели, необходимость отдельного mmproj для работы с изображениями и возможную нестабильность или потерю качества при использовании низких квантизаций. Лицензия — Apache-2.0.

Qwen3.8-27B-abliterated-GGUF — GGUF-квантизированная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated, опубликованная пользователем prithivMLmods. Это вариант Qwen3.8-27B, созданный с применением abliteration — редактирования активаций, направленного на удаление поведения, связанного с отказами. Модель представляет собой плотную causal language model на 27 млрд параметров с нативным vision encoder и поддержкой обработки текста и изображений. Модель предназначена для локального запуска через llama.cpp и совместимые среды, а также для генерации и анализа текста, понимания изображений и видео, визуальных вопросов и ответов, OCR, описания изображений и видео, документного анализа и визуального рассуждения. Заявлены поддержка английского и китайского языков, контекст до 262 144 токенов с возможностью расширения до 1 млн через YaRN, а также управление глубиной рассуждений параметром reasoning_effort. Архитектура включает 64 слоя с чередованием блоков линейного внимания Gated DeltaNet и периодических слоёв Gated Attention. Доступны варианты от BF16 и F16 до Q2_K–Q8_0, что позволяет выбирать между качеством и требованиями к памяти; размеры файлов составляют примерно от 10,7 до 53,8 ГБ, отдельно поставляются мультимодальные проекторы. К ограничениям относятся отсутствие MTP-голов в формате GGUF, поэтому преимущества Multi-Token Prediction и связанной спекулятивной декодировки исходной модели недоступны. Abliteration является экспериментальным подходом и может влиять на поведение и надёжность модели. В README указана лицензия Apache 2.0.

avlp12/Qwen3.8-27B-Alis-MLX-8bit — 8-битная квантизированная версия мультимодальной модели Qwen3.8-27B от Qwen, подготовленная пользователем avlp12 для запуска на Apple Silicon с использованием MLX. Модель предназначена для генерации и анализа текста, работы с изображениями и сценариев, где важны высокая точность, длинные последовательности генерации и агентские циклы. Поддержка изображений сохранена благодаря полной vision-башне, а также сохранена MTP-голова для speculative decoding. Модель основана на архитектуре Qwen3_5ForConditionalGeneration с типом модели qwen3_5 и содержит 27 миллиардов параметров. Квантованный языковой компонент использует 8-битное представление, тогда как 333 тензора vision-башни объёмом около 0,461 млрд параметров сохранены в исходном формате bf16. Указанный размер сборки составляет 27,9 ГБ, пиковое потребление оперативной памяти при загрузке и коротком контексте — около 28,1 ГБ, скорость декодирования на Apple M3 Ultra — около 22 токенов в секунду. Модель поддерживает мультимодальный ввод, включая изображения; заявленные языки включают английский и корейский, также отдельно измерялось качество на коде. Размер контекста в README не указан. Главное преимущество сборки — близкое к исходной bf16-модели поведение при существенно меньшем размере и более высокой скоростью декодирования; заявленные различия perplexity статистически неразличимы на проверенных корпусах. Ограничения — необходимость совместимого Apple Silicon и MLX-окружения, значительные требования к памяти, а также возможное снижение точности из-за 8-битной квантизации по сравнению с bf16. Лицензия модели — Apache-2.0.

ulkaa/Qwen3.8-27B-AWQ-INT4 — это квантизированная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем ulkaa. Модель предназначена для генерации и понимания текста, работы с изображениями и задач с большим контекстом. Она использует архитектуру Qwen3_5ForConditionalGeneration, поддерживает сохранённую vision tower в формате BF16 и рассчитана на применение через Transformers и SGLang, в частности на GPU Intel Arc Pro. Модель сжимает веса методом AWQ в формате compressed-tensors pack-quantized по схеме W4A16 с асимметричной квантизацией и размером группы 128. Размер артефакта составляет 18,2 GiB против 55,6 GiB у исходной BF16-версии. Большая часть параметров хранится в четырёхбитном виде, а vision tower, MTP head, embeddings, lm_head, нормализации и отдельные малые компоненты сохраняются в BF16. Основная конфигурация поддерживает контекст до 262 144 токенов; ревизия 1m с YaRN расширяет его до 1 048 576 токенов. К сильным сторонам относятся существенно сниженные требования к памяти, поддержка мультимодальных сценариев, длинного контекста и спекулятивного декодирования через встроенный MTP head либо внешнюю модель Qwen3.8-27B-DFlash2. К ограничениям относятся ожидаемое расхождение результатов с BF16-версией, необходимость проверки качества на собственных данных и зависимость оптимизированного сценария обслуживания от SGLang, Intel XPU и соответствующей конфигурации. Для DFlash2 не поддерживаются запросы с возвратом logprob. Модель распространяется по лицензии Apache-2.0.

abhishekchohan/Qwen3.8-27B-AWQ-INT4-FP8KV — квантизированная версия Qwen/Qwen3.8-27B, опубликованная abhishekchohan. Модель предназначена для диалогов, следования инструкциям, математических и научных задач, агентного программирования, многоязычных сценариев и работы с очень длинным контекстом. В карточке указано image-text-to-text позиционирование, однако подробности о поддерживаемых изображениях не приведены. Модель использует AWQ-квантизацию весов INT4 с защищёнными компонентами BF16 и FP8 E4M3 KV-кэшем с калиброванными послойными масштабами. Архитектура Qwen3.8-27B содержит 16 глобальных attention-слоёв, накапливающих KV-кэш, и 48 слоёв DeltaNet с рекуррентным состоянием. Поддерживается контекст до 262 144 токенов; заявлена возможность расширения до 524 288 токенов через YaRN, но результаты за пределами 262 144 токенов не проверялись. Заявленная оценка требований для полного контекста — около 33,5 ГБ VRAM, включая примерно 20 ГБ на веса и 8,5 ГБ на KV-кэш. Ключевое преимущество — примерно двукратное снижение памяти KV-кэша по сравнению с BF16 при сохранении качества: тесты показывают близкие результаты к AWQ-INT4 с BF16 KV, а retrieval-тест на контекстах 32 768, 131 072 и 262 144 токена дал 9/9 успешных результатов. Ограничения включают возможные небольшие колебания качества на отдельных бенчмарках, неподтверждённую работу за пределами 262 144 токенов и несовместимость MTP speculative decoding с FP8 KV в текущем JIT-пути FlashInfer на системах Blackwell. Для запуска рекомендуется vLLM с включённым FP8-кэшем; модель распространяется по лицензии Apache-2.0.

Это квантованная публикация модели Qwen3.8-27B-Brainwaves-WFH-BF16 в формате GGUF от mradermacher. В репозитории приведены варианты квантования и дополнительные файлы mmproj для мультимодального использования; метаданные указывают размер формата BF16 и поддержку чата и следования инструкциям. Модель предназначена для генерации текста в диалогах и выполнения инструкций. Метаданные также описывают её как многоязычную и отмечают задачи программирования, математики, рассуждений и творческого письма. Для GGUF указана лицензия Apache-2.0. README не содержит сведений о точном контекстном окне или конкретных ограничениях качества.

Qwen3.8-27B-GGUF — это общественная квантованная сборка базовой модели Qwen/Qwen3.8-27B, подготовленная сообществом bowmanslayer для запуска через llama.cpp. Это неофициальный релиз, не одобренный и не связанный с командой Qwen или Alibaba Cloud. Модель предназначена прежде всего для генерации текста, локального инференса и сценариев, где важны большой контекст и работа на одной видеокарте. Лицензия артефакта — Apache-2.0. Основные веса представлены в формате GGUF с importance-matrix-квантизацией, доступны варианты от Q3_K_M до Q8_0. В зависимости от варианта требуется примерно от 14 до 26,6 ГиБ памяти; для одной видеокарты на 24 ГиБ автор рекомендует Q4_K_M для скорости или Q6_K для качества, а для 16 ГиБ — IQ4_XS. Модель имеет гибридную архитектуру: из 64 слоёв только 16 используют полноценное attention, остальные 48 используют Gated DeltaNet, благодаря чему снижается расход KV-кэша и поддерживается контекст до примерно 111 872 токенов для Q4_K_M на RTX 3090. Точные характеристики исходной модели, включая языки и число параметров, в README дополнительно не раскрыты, однако название указывает на класс 27B. Мультимодальный режим с изображениями поддерживается через отдельный файл mmproj размером около 0,9 ГиБ; он позволяет, например, описывать изображения, но специализированные Qwen3-VL-модели должны быть лучше для плотного OCR и подсчёта небольших объектов. Также доступен отдельный MTP-файл для speculative decoding, который на CUDA в приведённом тесте увеличивал скорость генерации до 36 процентов при определённой настройке. Ограничения включают компромисс между качеством, скоростью и объёмом памяти при выборе квантизации, заметное замедление IQ4_XS по сравнению с Q4_K_M и слабую эффективность MTP на Vulkan. Для работы требуются совместимые сборки llama.cpp; режим draft-mtp поддерживается начиная со сборки b10502.

Distillio/Qwen3.8-27B-GGUF — это квантизированная версия модели Qwen3.8-27B, разработанной Qwen и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель содержит около 28 млрд параметров и предназначена для локального запуска задач генерации и анализа текста, а также обработки изображений при использовании совместимого файла mmproj. Модель поддерживает мультимодальный ввод текста и изображений, speculative decoding с использованием MTP и квантизацию imatrix. Доступны варианты от BF16 и Q8_0 до более компактных Q2_K и IQ3/IQ4, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. Рекомендуемым компромиссом README называет Q4_K_M размером около 17,77 ГБ; более высокое качество обеспечивают Q5 и Q6, а варианты Q2–Q3 рассчитаны на ограниченный объём оперативной памяти, но заметно уступают по качеству. Для запуска требуется совместимое программное обеспечение, в частности llama.cpp; для работы с изображениями необходим mmproj-файл. README не указывает поддерживаемые языки и размер контекста, поэтому эти характеристики нельзя надёжно определить по представленным данным. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-GGUF — это мультимодальная модель для работы с текстом и изображениями, основанная на Qwen/Qwen3.8-27B. Репозиторий подготовлен Feiteng при спонсорской поддержке Draw Things. Модель распространяется в формате GGUF и предназначена прежде всего для локального запуска через llama.cpp, а также совместима с экосистемой Transformers. Заявленные языки включают английский, китайский, испанский, русский и японский. Основная особенность репозитория — квантизированные варианты языковой модели с эффективностью ниже 4 бит на вес: DT-bpw2.96-IQ3_XXS размером 9,71 GiB и DT-bpw2.48-IQ2_S размером 8,20 GiB. Доступны мультимодальные сценарии благодаря отдельным квантизированным vision encoder-файлам; для Q4_K его размер составляет 314,46 MiB, а сходство выходов с исходной FP32-моделью — 0,99537 по косинусной метрике. Модель поддерживает генерацию текста, рассуждения, программирование, использование инструментов и function calling. Для DT-bpw2.96-IQ3_XXS также заявлена поддержка MTP и предварительная доля принятия черновых токенов около 60% при максимальной длине черновика 3. По приведённым оценкам обе DT-версии набрали 100% на AIME 2026; DT-bpw2.96-IQ3_XXS показала 86,36% на GPQA Diamond, 93,90% на IFEval и 68,06% на BFCL v4, а DT-bpw2.48-IQ2_S — 77,27%, 93,16% и 69,56% соответственно. Квантизация существенно уменьшает требования к хранению, но может снижать точность по сравнению с BF16-версией, особенно на более агрессивных уровнях. Для vision encoder доступны варианты BF16, FP16, Q8_0, Q6_K, Q5_K и Q4_K; их показатели зависят от формата. Лицензия модели — Apache-2.0.

Qwen3.8-27B-GPTQ-INT4-FP8KV — квантованная версия мультимодальной модели Qwen3.8-27B, опубликованная пользователем abhishekchohan на базе Qwen/Qwen3.8-27B. Модель предназначена для диалогов, рассуждений, решения математических и научных задач, программирования, следования инструкциям, работы с длинным контекстом и анализа изображений. Поддерживаемые языки в README не указаны. Используется 4-битное GPTQ-квантование весов в формате W4A16 с асимметричными группами размера 32, а также FP8 E4M3 KV-кэш с откалиброванными масштабами. Размер модели — 27B параметров; текстовая часть включает 64 гибридных слоя attention и DeltaNet, а визуальная часть основана на замороженном ViT-энкодере. Сохраняется нативный контекст до 262 144 токенов, с расширением YaRN до 524 288 токенов на GPU с 48 ГБ и до 1 млн токенов на 96 ГБ, однако поиск за пределами 262 144 токенов не валидировался. Контрольная точка занимает около 20 ГБ и рассчитана на запуск через vLLM, включая speculative decoding. Главные преимущества — существенно сниженное потребление памяти, возможность обслуживания нативного длинного контекста на одной 48-ГБ GPU и результаты бенчмарков, сопоставимые с BF16-версией: средний показатель на заявленном наборе тестов составил 70,29 против 70,04 у базовой модели, а извлечение информации из контекста прошло без деградации на 262 144 токенах. Ограничения включают возможную зависимость результатов генерации от GPU и конфигурации, а также неизбежные риски квантования; отдельные тесты показали небольшое снижение качества. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-heretic-ara-Q4_K_M-MTP-GGUF — квантизированная GGUF-версия модели trohrbaugh/Qwen3.8-27B-heretic-ara, подготовленная cygnal. Модель основана на Qwen3.8-27B и распространяется с сохранёнными тензорами MTP (Multi-Token Prediction) для ускоренного декодирования, а также с отдельным vision-проектором mmproj для обработки изображений. В карточке заявлены поддержка английского и китайского языков и мультимодальный сценарий image-text-to-text. Модель предназначена для диалогов, генерации и анализа текста, программирования, технических задач, извлечения структурированных данных и понимания изображений. Основной файл Q4_K_M имеет размер около 16 ГБ и использует квантизацию с 4,83 битами на вес. Для запуска рекомендован llama.cpp; заявлена поддержка контекста до 32768 токенов в типовой конфигурации. MTP может заметно повысить скорость генерации, особенно на совместимом оборудовании AMD Strix Halo, однако для запросов с изображениями в ROCmFPX его необходимо отключать из-за ограничений реализации. Сильными сторонами являются сочетание текстовых и визуальных возможностей, наличие MTP, поддержка OpenAI-совместимого API и несколько вариантов запуска для стандартного llama.cpp и ROCmFPX. Ограничения включают высокие требования к памяти, зависимость производительности от оборудования и backend, а также необходимость отдельного mmproj-файла для изображений. Исходная модель описана как uncensored-версия с изменённым поведением отказов, поэтому её ответы требуют дополнительной проверки и настройки мер безопасности. Лицензия — Apache-2.0.

TelperionAI/Qwen3.8-27B-INT4-AWQ-GPTQ — квантизированная версия языковой модели Qwen3.8-27B, основанная на базовой модели Qwen/Qwen3.8-27B. Модель создана с использованием llm-compressor и сочетает AWQ-масштабирование, учитывающее активации, с последующей GPTQ-квантизацией. Она предназначена для запуска и генерации текста в задачах общего назначения, включая программирование, математику, STEM, диалоговые и многоязычные сценарии. Основная часть MLP-слоёв квантизирована в INT4 с группами размера 32 и асимметричными шкалами, отдельные компоненты используют INT8, а эмбеддинги, lm_head, нормализации, параметры состояния GDN, vision tower и MTP-head сохранены в BF16. Размер модели на диске составляет около 25,1 ГБ; требуется видеокарта с Compute Capability не ниже 7.5, поэтому поддерживаются Turing, Ampere, Ada и Blackwell без необходимости FP8 или FP4. Контекст, точное число языков и полный набор модальностей в README не указаны, однако присутствует vision tower и заявлена калибровка на многоязычных данных. Ключевое преимущество модели — повышенная близость к исходной BF16-версии по сравнению с некоторыми другими 4-битными сборками: в заявленном тесте совпадение top-1 составило 96,30%, а медианная позиция первого расхождения генерации — 48 токенов. Модель поддерживает vLLM и MTP speculative decoding, но скорость на Blackwell примерно в 2,3 раза ниже, чем у NVFP4-варианта. Размер 25,1 ГБ не позволяет комфортно разместить её на одной видеокарте с 24 ГБ памяти с учётом KV-кэша, а результаты оценены только на одном корпусе и не проверены на независимом распределении. Распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Kearuga — пользовательская гибридно-квантизированная версия Qwen3.8-27B, разработанная 0xWhiteMage. Модель предназначена для генерации текста и высокопроизводительного интерактивного сервинга со speculative decoding на одной NVIDIA DGX Spark с GB10, Grace-Blackwell и 128 ГБ унифицированной памяти. Она ориентирована на сценарии, где важны снижение потребления памяти, высокая пропускная способность и сохранение качества базовой модели. Модель содержит около 27 млрд параметров и использует комбинацию GPTQ с групповыми масштабами Four-Over-Six, NVFP4 AWQ, FP8 E4M3 и защищённых участков BF16. Размер весов сокращён с 51,8 ГиБ до 24,85 ГБ. Для ускоренного сервинга поддерживается связка с SGLang и отдельной Kearuga DFlash 2 drafter-моделью с K=12 и draft head на 64K. Заявлены языки английский, китайский, немецкий, французский, японский, корейский, испанский и русский; модель относится к классу text-generation. По данным README, средняя KL-дивергенция относительно базовой BF16-модели составляет 0,0165, совпадение наиболее вероятного токена на тесте из 40 примеров — 100%, а на отложенном наборе — 95%. Точное совпадение продолжения длиной 32 токена достигнуто в 50% случаев, поэтому квантизация может приводить к отличиям в генерации при близких значениях логитов. Для Quality-200 указано 157 из 180 баллов, включая результаты на GSM8K, HumanEval, IFEval и агентских задачах. Производительность зависит от конфигурации сервинга и оборудования; приведённые показатели измерены на DGX Spark при отключённом thinking и температуре 0. Модель распространяется по лицензии Apache 2.0.

Primitive-AI Qwen3.8-27B-mixed-NVFP4-FP8 — это квантизированная версия модели Qwen/Qwen3.8-27B, опубликованная организацией Primitive AI. Модель предназначена для генерации текста, задач общего назначения и сценариев с инструментальным вызовом. Она поддерживает работу через Transformers и stock vLLM, а также speculative decoding с сохранённой MTP-головой. Модель использует смешанную квантизацию NVFP4/FP8 и занимает около 20,7 GiB — примерно в 2,5 раза меньше версии BF16 и на 28% меньше собственной версии Qwen в FP8. Она протестирована на GPU Blackwell и A100: на Blackwell применяются нативные FP4/FP8-ядра, а на A100 используется fallback Marlin W·A16. В заявленных измерениях модель показала общую оценку 88,8 против 89,3 у BF16, пропускную способность 908 токенов в секунду при конкуренции 32 и до 2,5-кратного ускорения при конкуренции 1. К сильным сторонам относятся существенно сниженное потребление памяти, высокая скорость инференса, совместимость с обычным vLLM без калибровочных данных и сохранение возможностей speculative decoding, дающего прирост до 101% с DSpark drafter. Ограничения связаны с потерями точности относительно BF16, особенностями поддержки аппаратных платформ и тем, что приведённые результаты получены на конкретном наборе из 1370 заданий и не гарантируют аналогичную производительность в других сценариях. Языки, максимальный контекст и точная архитектура в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-MLX — сборка официальной модели Qwen/Qwen3.8-27B, разработанной командой Qwen и адаптированной OrcaRouter для MLX. Это мультимодальная vision-language модель с поддержкой текста и изображений, ориентированная на запуск на устройствах Apple Silicon. Заявлены английский и китайский языки, управление режимом рассуждений, вызов инструментов и Multi-Token Prediction (MTP) для ускорения спекулятивной генерации. Модель имеет 27 миллиардов параметров и плотную гибридную архитектуру, сочетающую линейное внимание Gated DeltaNet с полноразмерным attention. Доступны аффинные варианты квантования на 4, 6 и 8 бит: примерно 16, 24 и 31 ГБ соответственно. Визуальная башня, нормализационные и свёрточные слои сохраняются в BF16, а линейные веса языковой модели квантуются. Вариант 8-bit обеспечивает качество, близкое к BF16, 6-bit предлагает компромисс между качеством и объёмом, а 4-bit предназначен для повседневного использования при меньших требованиях к памяти. Модель подходит для диалоговых приложений, анализа изображений, генерации текста, задач рассуждения и сценариев с вызовом функций. Для ускорения генерации доступен отдельный MTP-драфтер, совместимый с любой основной точностью. Ограничениями являются значительные требования к оперативной памяти, зависимость от актуальных версий mlx-vlm и MLX, а также преимущественная ориентация на Apple Silicon; для vision-режима на CUDA требуется дополнительная настройка. Репозиторий распространяется по лицензии Apache 2.0.

Bernhard Brieger подготовил эту модель как посттренировочную NVFP4-квантизацию базовой Qwen/Qwen3.8-27B. Это мультимодальная модель для обработки текста и изображений, сохранившая языковую часть, vision tower и слой Multi-Token-Prediction (MTP). Квантизация не меняет логическое число параметров: оно составляет около 27,78 млрд, а размер весов на диске уменьшен до 20,59 ГБ по сравнению с 55,56 ГБ в формате bf16. Модель предназначена для следования инструкциям, программирования, диалогов, вызова инструментов и функций, работы с изображениями, а также задач с длинным контекстом, включая обработку документов объёмом свыше 100 тысяч токенов. Архитектура Qwen3_5ForConditionalGeneration включает 64 слоя: 48 слоёв с линейным вниманием Gated-DeltaNet и 16 слоёв с полным вниманием. Нативный контекст составляет 262 144 токена; работа проверена на контексте до 163 840 токенов с FP8 KV-кэшем. Поддерживается схема NVFP4 W4A4 с 4-битными весами и активациями, а критически важные компоненты, включая embeddings, lm_head, vision tower, нормализации и MTP-слой, сохранены в bf16. Главное преимущество модели — значительное снижение требований к памяти при сохранении мультимодальности и длинного контекста: объём весов уменьшен на 62,9%. Проверенным вариантом запуска является vLLM с backend modelopt_fp4. Формат NVFP4 требует аппаратной поддержки FP4-тензорных ядер и рассчитан на GPU поколения Blackwell с архитектурами sm_100 или sm_120; на более старых GPU модель работать не может. Это только квантизация исходной модели без дополнительного дообучения, дистилляции или усиленного обучения безопасности, поэтому заявленные данные не показывают разницу качества с полной версией. Лицензия — Apache-2.0.

PassingByPixels/Qwen3.8-27B-NVFP4 — это квантованная версия мультимодальной модели Qwen3.8-27B, разработанной Qwen и преобразованной в формат NVFP4 с помощью NVIDIA TensorRT Model Optimizer 0.45.0. Модель предназначена для генерации и понимания текста, анализа изображений и видео, программирования, профессиональных и исследовательских задач, а также многошаговых агентских сценариев. Квантование не включало обучение или дообучение и представляет собой lossy-преобразование исходных весов bf16. Модель содержит около 27 млрд параметров и использует архитектуру causal language model с vision encoder. Она включает 64 слоя, механизм Gated DeltaNet с линейным вниманием, Gated Attention, MTP и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 000 000 токенов посредством RoPE scaling, например YaRN. Поддерживаемый язык в карточке указан как английский. Ключевая часть параметров представлена в 4-битном формате NVFP4 с блочными масштабами, а vision tower, эмбеддинги, LM head, MTP head и Gated DeltaNet сохранены в более высокой точности bf16. Основное преимущество — существенно меньшее потребление памяти и возможность запуска на одном устройстве DGX Spark с 128 ГБ памяти через vLLM и Blackwell FP4 path. При этом README не содержит оценки качества квантованной версии по сравнению с исходной bf16-моделью, поэтому возможное снижение точности следует учитывать. Лицензия — Apache-2.0.

philbert440/Qwen3.8-27B-NVFP4 — это 4-битная NVFP4-квантизованная версия плотной мультимодальной модели Qwen3.8-27B, разработанной Qwen. Модель предназначена для работы с текстом и изображениями, включая задачи рассуждения, ответов на вопросы, анализа визуальной информации и генерации текста. Режим рассуждений включён по умолчанию, а визуальная часть модели и голова MTP для спекулятивного декодирования сохранены. Модель содержит 27 млрд параметров и использует гибридную архитектуру из 64 слоёв: 16 слоёв с полноценным вниманием и 48 слоёв GatedDeltaNet с линейным вниманием. Основная часть весов представлена в формате NVFP4 E2M1 с групповым масштабированием FP8, при этом отдельные чувствительные компоненты, эмбеддинги, выходная голова, vision tower и MTP-head сохранены в BF16. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 млн токенов посредством YaRN. Доступный размер файлов модели — около 25,2 ГБ. Главное преимущество этой сборки — оптимизация под инференс на видеокартах NVIDIA V100: она рассчитана на запуск на двух V100 с 32 ГБ памяти через 1Cat-vLLM и, согласно приведённым измерениям, обеспечивает около 42–47 токенов в секунду в однопоточном режиме рассуждений. К ограничениям относятся зависимость от совместимого стека 1Cat-vLLM и особенности поддержки аппаратных платформ; заявленные показатели получены на конкретной конфигурации и могут отличаться в других условиях. Модель распространяется по лицензии Apache-2.0.

Avifenesh/Qwen3.8-27B-NVFP4-MTP-GGUF — квантизированная версия Qwen3.8-27B, разработанная Qwen и подготовленная Avifenesh как артефакт сервинга лаборатории tiyuvta. Модель предназначена для генерации текста, диалоговых приложений и агентных сценариев; встроенный MTP (multi-token prediction) позволяет использовать speculative decoding для ускорения инференса в совместимых движках, прежде всего memra. Модель использует NVFP4-квантизацию с 4-битными весами, эмбеддинги и выходную голову в формате Q5_K, а также включает отдельный MTP-блок и маскированную draft head для speculative decoding. Размер базовой модели — 27B параметров, словарь содержит 248 320 токенов, встроенный chat template поддерживает tool calling и thinking blocks. Заявлен нативный текстовый контекст до 262 144 токенов. Мультимодальный VL-компонент в этот артефакт не входит, а поддерживаемые языки в README не указаны. К сильным сторонам относятся существенно сниженный размер файла, поддержка длинного контекста и ускорение декодирования: для конфигурации MTP K=3 указаны медианная скорость 137,9 токена в секунду на RTX PRO 6000 Blackwell и 73,6 токена в секунду на RTX 5090 Laptop при коэффициенте принятия черновых токенов 0,74. Ограничения связаны с необходимостью движка, поддерживающего GGUF, NVFP4 и MTP, а также с оптимизацией под аппаратные платформы Blackwell; приведённые сервисные измерения относятся к уже закрытому endpoint и не являются текущей гарантией производительности. Модель распространяется по лицензии Apache-2.0.

utautako/Qwen3.8-27B-NVFP4-MTP-Q8attn-GGUF — это квантованная GGUF-версия модели Qwen3.8-27B, разработанной командой Qwen. Конверсию выполнил автор репозитория с использованием NVIDIA ModelOpt: MLP-слои представлены в формате NVFP4, а проекции attention и линейного внимания DeltaNet сохранены в Q8_0 для повышения точности, особенно при работе с длинным контекстом. Модель предназначена для запуска через llama.cpp. Модель поддерживает текстовые и визуальные сценарии: для обработки изображений поставляется отдельный BF16 vision projector, совместимый с путём Qwen3-VL. Архитектура содержит 64 текстовых слоя и один MTP-слой для speculative decoding; общий размер основного файла составляет около 17,81 GiB, а плотность — примерно 5,60 бит на вес. Заявлена поддержка контекста до 213056 токенов в текстовом режиме и до 163840 токенов при подключённом vision projector на RTX 5090 с 32 ГБ видеопамяти. К сильным сторонам относятся сохранение качества attention-компонентов за счёт Q8_0, поддержка изображений и ускорение генерации с помощью MTP: на RTX 5090 производительность достигает примерно 120–130 токенов в секунду, что примерно вдвое выше авторегрессионного режима. Ограничения включают зависимость от совместимой версии llama.cpp, значительные требования к видеопамяти и снижение эффективности speculative decoding при глубине чернового предсказания четыре и более. Модель распространяется по лицензии Apache-2.0.

Abiray/Qwen3.8-27B-Q4_K_M-GGUF — это квантизированная версия мультимодальной vision-language модели Qwen3.8-27B, разработанной командой Qwen. Модель распространяется в формате GGUF и предназначена для локального запуска с помощью llama.cpp и совместимых инструментов, включая LM Studio, Ollama и GPT4All. Модель поддерживает текстовые и мультимодальные сценарии: работу с изображениями и видео, программирование, профессиональные задачи, исследования и длительные агентские процессы. Основной файл имеет размер 16,8 ГБ и использует квантизацию Q4_K_M, выполненную с помощью llama.cpp b10430. Для обработки изображений и других мультимодальных входов требуется дополнительный vision adapter mmproj-F16.gguf; без него доступен текстовый режим. Сведения о точной архитектуре, размере контекста и поддерживаемых языках в карточке не указаны. К сильным сторонам относятся сочетание возможностей языковой модели и анализа визуального контента, а также возможность локального запуска в широко поддерживаемых форматах. К ограничениям относятся необходимость отдельного vision adapter для мультимодальных задач и потенциальные компромиссы точности, обусловленные квантизацией Q4_K_M. Модель распространяется по лицензии Apache-2.0.