Характеристики

Контекст: 262 144 токена
Параметры: 1,6 млрд
Лицензия: Apache 2.0
Архитектура: qwen3_8_mtp · dense
Базовая модель: Qwen3.8-27B
Библиотека: mlx
Опубликована: 16 авг 2026

Ссылки

Hugging Face

Qwen3.8-27B-MTP-MLX-6bit

adrianmurray

Генерация текстаТекст → текст3 профессии

Квантованный MTP-черновик для ускорения спекулятивного декодирования Qwen3.8-27B в совместимом MLX-рантайме.

103скачиваний за 30 дней0лайковвеса обновлены16 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это квантованный до 6 бит артефакт односоставного MTP-предсказателя, извлечённый из контрольной точки Qwen/Qwen3.8-27B и подготовленный в формате MLX. Он предназначен для спекулятивного декодирования в связке с соответствующей целевой моделью Qwen3.8-27B через Qwen Prime Runtime и проверку DFlash; самостоятельно как обычная языковая модель не используется.

Артефакт содержит один MTP-слой и привязан к целевой модели той же версии. Проверка спекулятивных токенов сохраняет точность относительно выбранной политики декодирования целевой модели, а ускорение зависит от доли принятых черновых токенов и характера нагрузки. В метаданных указано окно контекста 262144 токена и библиотека MLX. Лицензия — Apache-2.0.

Сценарии применения

ускорение генерации текста на Qwen3.8-27B через спекулятивное декодирование
подготовка черновых токенов для проверки DFlash
запуск спекулятивного декодирования в Qwen Prime Runtime на MLX

Ограничения

Артефакт требует совместимой целевой модели Qwen/Qwen3.8-27B и соответствующего рантайма, поэтому не предназначен для самостоятельной генерации. Фактическое ускорение зависит от принятия черновых токенов и нагрузки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.7Разработка и данныеDevOps, облако и эксплуатация IT-системAI помогает развёртывать, наблюдать и оптимизировать цифровые системы и облачную инфраструктуру.20 задач7 196моделей II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.8-27B native MTP MLX 6-bit

This artifact is the native multi-token prediction head extracted from the official Qwen/Qwen3.8-27B checkpoint and quantized to affine 6-bit MLX weights. It is bound to a matching target model and is used as a speculative draft by Qwen Prime Runtime and DFlash verification.

It is not a separately trained DFlash diffusion model. Speculative verification remains lossless with respect to the configured target decoding policy; speed depends on draft acceptance and workload.

Identity

Source model: Qwen/Qwen3.8-27B
Source revision: 1d4bf0f2ff6012fd82039f2fa52739d0dd7c60c0
Target model: Qwen/Qwen3.8-27B
Quantization: affine 6-bit, group size 64
MTP layers: one
Weight SHA-256: 0af49c2c931f9f98c6beb2a85cae899a1c839647aae28b18e9187af53340fab2

qwen-prime-runtime doctor verifies the source/target binding and the complete weight hash before the artifact is used.

Reproduction

uv run python -m harness.trainer.export_qwen38_mtp \
  --source /path/to/Qwen3.8-27B \
  --output /path/to/Qwen3.8-27B-MTP-MLX-6bit \
  --source-revision 1d4bf0f2ff6012fd82039f2fa52739d0dd7c60c0

License

The original model is Copyright 2026 Alibaba Cloud and is licensed under Apache License 2.0. This directory includes that license and a modification notice. This independent derivative is not endorsed by Alibaba Cloud or the Qwen team.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Класс архитектуры: Qwen3_8MTPModel
Ревизия весов: bab192f