/ Модель

Характеристики

Контекст
262 144 токена
Размер весов
451 МБ
Лицензия
Apache 2.0
Архитектура
qwen3_5_mtp · dense
Базовая модель
Qwen3.8-27B
Библиотека
mlx
Опубликована
14 авг 2026

Qwen3.8-27B-MTP-8bit

Генерация текстаТекст → текст3 профессии

Qwen3.8-27B-MTP-8bit — вспомогательная модель-драфтер из семейства Qwen, созданная на базе Qwen/Qwen3.8-27B и подготовленная сообществом mlx-community для запуска в экосистеме MLX.

3 229скачиваний за 30 дней18лайковвеса обновлены14 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Она предназначена для speculative decoding: предсказывает несколько последующих токенов, помогая ускорить генерацию текста целевой моделью Qwen3.8 27B в среде MLX и mlx-vlm.

Модель не является самостоятельной и не предназначена для работы без совместимого целевого чекпойнта Qwen3.8 27B. Это архитектура qwen3_5_mtp с размером MTP-блока 3; хранятся только веса MTP-драфтера, а эмбеддинги токенов и языковая голова предоставляются целевой моделью во время выполнения. Используется 8-битное квантование MLX affine с размером группы 64. Для корректной работы драфтер и целевая модель должны происходить из одного и того же чекпойнта Qwen3.8 27B.

Основное преимущество — потенциальное ускорение текстовой генерации при совместимом speculative decoding и снижение требований к хранению по сравнению с полным самостоятельным чекпойнтом. Ограничения — отсутствие автономности, зависимость от MLX/mlx-vlm и совместимого целевого чекпойнта; README не указывает размер контекста, поддерживаемые языки помимо метаданных с обозначением en, дополнительные модальности или результаты оценки качества. Модель распространяется по лицензии Apache 2.0, при этом применимые ограничения и условия исходной модели сохраняются.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.8-27B-MTP-8bit

This repository contains the Multi-Token Prediction (MTP) drafter weights split from Qwen/Qwen3.8-27B and quantized with mlx_vlm.convert for mlx-vlm speculative decoding.

This is not a standalone model. Use it as the draft model alongside a compatible Qwen3.8 27B target checkpoint.

Use with mlx-vlm

mlx_vlm generate \
  --model mlx-community/Qwen3.8-27B-8bit \
  --draft-model mlx-community/Qwen3.8-27B-MTP-8bit \
  --prompt "Write a quicksort in Python." \
  --max-tokens 256 \
  --enable-thinking

--draft-kind mtp is detected automatically from model_type.

Model details

  • Model type: qwen3_5_mtp
  • MTP block size: 3
  • Target architecture: Qwen3.8 27B
  • Precision: MLX affine 8-bit, group size 64
  • Runtime: MLX / mlx-vlm
  • Source revision: 1d4bf0f2ff6012fd82039f2fa52739d0dd7c60c0

The adapter holds only the MTP drafter weights; the target supplies the token embeddings and language-model head at runtime. Use an adapter and target derived from the same Qwen3.8 27B checkpoint. The upstream Apache 2.0 license and model limitations continue to apply.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.

Ревизия весов
e88e48d

0 моделей