Характеристики

Контекст: 262 144 токена
Лицензия: Apache 2.0
Архитектура: qwen3_5_mtp · dense
Базовая модель: Qwen3.8-27B
Библиотека: mlx
Опубликована: 14 авг 2026

Ссылки

Qwen3.8-27B-MTP-bf16

Генерация текстаТекст → текст3 профессии

Черновые MTP-веса Qwen3.8-27B для ускорения текстовой генерации через speculative decoding в mlx-vlm вместе с совместимой целевой моделью.

1 657скачиваний за 30 дней12лайковвеса обновлены14 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это набор весов черновой модели Multi-Token Prediction (MTP), извлечённых из Qwen/Qwen3.8-27B и опубликованных mlx-community для ускорения генерации методом speculative decoding в mlx-vlm. Модель не работает самостоятельно: её используют вместе с совместимой целевой моделью Qwen3.8-27B, которая предоставляет эмбеддинги токенов и языковую голову. Для корректной работы веса черновой и целевой моделей должны происходить из одного чекпойнта.

Архитектура плотная, тип модели — qwen3_5_mtp; размер целевой модели — 27 млрд параметров, точность весов — BF16, размер MTP-блока — 3. Репозиторий рассчитан на MLX и mlx-vlm. В метаданных указан английский язык; сам черновой компонент предлагает ускорение текстовой генерации, а не самостоятельный диалог или мультимодальный анализ. Использование регулируется лицензией Apache 2.0; ограничения базовой модели также применяются.

Сценарии применения

ускорение генерации текста на Apple Silicon с MLX
ускорение диалоговой генерации Qwen3.8-27B
ускорение генерации кода целевой моделью Qwen3.8-27B

Ограничения

Не является самостоятельной моделью и требует совместимого целевого чекпойнта Qwen3.8-27B из того же источника. Предназначена для использования с MLX и mlx-vlm; ограничения базовой модели сохраняются.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.8-27B-MTP-bf16

This repository contains the Multi-Token Prediction (MTP) drafter weights split from Qwen/Qwen3.8-27B for use with mlx-vlm speculative decoding.

This is not a standalone model. Use it as the draft model alongside a compatible Qwen3.8 27B target checkpoint.

Use with mlx-vlm

mlx_vlm generate \
  --model mlx-community/Qwen3.8-27B-bf16 \
  --draft-model mlx-community/Qwen3.8-27B-MTP-bf16 \
  --prompt "Write a quicksort in Python." \
  --max-tokens 256 \
  --enable-thinking

--draft-kind mtp is detected automatically from model_type.

Model details

Model type: qwen3_5_mtp
MTP block size: 3
Target architecture: Qwen3.8 27B
Precision: BF16
Runtime: MLX / mlx-vlm
Source revision: 1d4bf0f2ff6012fd82039f2fa52739d0dd7c60c0

The adapter was extracted with mlx_vlm.speculative.drafters.qwen3_5_mtp.split. It holds only the MTP drafter weights; the target model supplies the token embeddings and language-model head at runtime.

Use an adapter and target derived from the same Qwen3.8 27B checkpoint. The upstream Apache 2.0 license and model limitations continue to apply.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Ревизия весов: 9b1e8ab