/ Модель
Каталог

Характеристики

Контекст
262 144 токена
Размер весов
55,6 ГБ
Лицензия
Apache 2.0
Архитектура
qwen3_5 · dense
Базовая модель
Qwen3.8-27B-bf16
Библиотека
mlx
Опубликована
18 авг 2026

Ссылки

Hugging Face

Qwen3.8-27B-bf16-MTP-MLX

bluehawana
Генерация текстаТекст → текст9 профессий

Версия Qwen3.8-27B для MLX с MTP-головой ускоряет генерацию текста в поддерживающих MTP runtime, таких как oMLX.

255скачиваний за 30 дней2лайкавеса обновлены18 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

bluehawana подготовил вариант Qwen3.8-27B для MLX с добавленной родной головой multi-token prediction (MTP). Базовые веса побайтно совпадают с конвертацией mlx-community/Qwen3.8-27B-bf16; к ним добавлены 15 тензоров MTP в bf16. Модель содержит 27 млрд параметров и занимает около 55,4 ГБ. Для работы требуется MLX-совместимый runtime с поддержкой нативного MTP speculative decoding, например oMLX с включённой настройкой Lightning MTP.

Модель предназначена для генерации текста в диалогах и сценариях кодирования или работы с агентами. По данным README, в однопоточном режиме на M5 Max с 128 ГБ памяти скорость декодирования с MTP составляет 25,9 токена/с против 9,3 токена/с без головы; принятие черновых токенов на задачах кодирования и агентов указано в диапазоне 75–99%. Ускорение зависит от runtime и сценария: MTP рассчитана на один поток, а при параллельных запросах используется обычное пакетное декодирование.

Лицензия — Apache-2.0. Указанная в карточке возможность — чат, а основной тег задачи — text-generation. Метаданные описывают базовую Qwen как мультимодальную, однако README этой версии сосредоточен на текстовой генерации и MTP; не следует считать поддержку изображений подтверждённой именно для этого репозитория.

Сценарии применения

  • диалоговая генерация текста на Apple Silicon
  • ускорение однопоточной генерации ответов
  • генерация кода в поддерживающем MTP runtime
  • генерация ответов для агентных сценариев

Ограничения

Для ускорения нужен MLX runtime с нативной поддержкой MTP; заявленные показатели относятся к однопоточному режиму и конкретной конфигурации M5 Max. При параллельных запросах используется обычное пакетное декодирование.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443моделиI.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейI.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022моделиII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.8-27B bf16 + MTP head (MLX)

mlx-community/Qwen3.8-27B-bf16 plus the model's native multi-token-prediction head, so MLX runtimes with native MTP speculative decoding (oMLX mtp_enabled, mlx-lm PR 990 lineage) decode ~2.5–3× faster. Weights are otherwise byte-identical to the mlx-community conversion.

decode, M5 Max 128 GB, single stream
mlx-community bf16 (no head)plain autoregressive
this repo, oMLX mtp_enabled25.9 (9.3 without the head) tok/s

Full A/B and method: MTP.md · code: bluehawana/Qwen3.827B-SGLang-mpbm5max — Track D.

What was added

model-mtp.safetensors — the 15 language_model.mtp.* tensors (bf16), taken from EigenLabs/Qwen3.8-27B-MTP-bf16 (bit-identical to Qwen/Qwen3.8-27B's own head; norms already in MLX +1 convention), registered in model.safetensors.index.json; text_config.mtp_num_hidden_layers = 1. The mlx-community conversions declare the head in config.json but strip its weights, which silently disables MTP.

Use with oMLX

  1. Download into your oMLX model dir (or HF cache).
  2. Admin UI → model settings → Lightning MTP on (API: PUT /admin/api/models/<id>/settings {"mtp_enabled": true}), load. The log shows Speculative backend selected and per-request MTP[...] accept=… lines.
  3. Optional for Qwen3.8: set chat_template_kwargs.reasoning_effort to medium/low — the template defaults to xhigh.

Draft acceptance on coding/agent traffic: 75–99 %, ~3 tokens per verify pass (depth 3). MTP is single-stream; concurrent requests fall back to plain batched decode.

Size: ~55.4 GB. Credits: Qwen team (model, Apache-2.0), mlx-community (quantization), EigenLabs / Layr-Labs MTP challenge (head export), oMLX (runtime).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Класс архитектуры
Qwen3_5ForConditionalGeneration
Ревизия весов
e05bd8c

0 моделей

    Создать бенчмарк