Характеристики

Лицензия: Apache 2.0
Базовая модель: Qwen3.8-Flash-Next
Библиотека: gmlx
Опубликована: 27 авг 2026

Ссылки

Qwen3.8-Flash-Next-MTP-Drafter-GGUF

Генерация текстаТекст → текст3 профессии

Qwen3.8-Flash-Next MTP-Drafter-GGUF — это отдельная GGUF-упаковка MTP-head модели Qwen3.8-Flash-Next, предназначенная для speculative decoding совместно с gmlx на macOS и Apple Silicon.

415скачиваний за 30 дней1лайквеса обновлены27 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Пакет подготовлен пользователем или организацией ashbash на основе весов Qwen3.8-Flash-Next, разработанных командой Qwen компании Alibaba Cloud. Это не самостоятельная языковая модель, а draft-модель, которая должна использоваться вместе с базовой GGUF-моделью.

В состав входит один MTP-слой с attention, MoE-блоком на 512 экспертов, hyper-connection mixer, а также необходимыми fc- и norm-компонентами; всего 33 тензора. Доступны варианты Q8_0 размером около 2,6 ГиБ и Q4_K_L размером около 1,8 ГиБ. Q8_0 является эталонным вариантом, а Q4_K_L уменьшает объём примерно на 1 ГиБ за счёт более низкой точности части параметров. Драфтер совместим с любой квантизацией базовой модели, при этом его исходные веса получены из официального релиза в формате BF16. Языки, размер контекста и точный размер базовой модели в README не указаны.

Основное преимущество пакета — восстановление MTP-тензоров, которые обычно теряются при конвертации Qwen3.8-Flash-Next в GGUF, что позволяет использовать self-drafting и ускорять генерацию через speculative decoding. Для моделей Qwen качество принятия MTP-токенов, согласно README, заметно выше в режиме reasoning. Ограничения заключаются в необходимости базовой модели, gmlx и платформы macOS с Apple Silicon; llama.cpp этот формат не поддерживает. Рекомендуется размещать ровно один файл драфтера рядом с базовой GGUF-моделью. Файлы распространяются по лицензии Apache-2.0.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.8-Flash-Next MTP draft head (GGUF)

Standalone GGUF packagings of the Qwen3.8-Flash-Next multi-token-prediction (MTP) head, for speculative decoding with gmlx on macOS / Apple Silicon.

Initial GGUF conversions of this model (unsloth and others) drop the mtp.* tensors: llama.cpp does not yet implement the qwen4exp MTP head, so its converter discards them, leaving no self-drafter. These files restore the head. The tensors were extracted from the official bf16 safetensors release (Qwen/Qwen3.8-Flash-Next, revision main) and re-encoded, unmodified; either file pairs with any quantization of the base model GGUF.

Files

file	codecs	size	sha256
Qwen3.8-Flash-Next-mtp-drafter-Q8_0.gguf	q8_0 throughout, norms f32	2.6 GiB	f2d08341...a80865a
Qwen3.8-Flash-Next-mtp-drafter-Q4_K_L.gguf	expert gate/up q4_k, expert down + dense q8_0, norms f32	1.8 GiB	ff01c084...fa266fb

One MTP layer each (attention + 512-expert MoE + hyper-connection mixer) plus fc/norm glue, 33 tensors. In Q4_K_L the expert down projections stay q8_0 because their 640-wide rows do not divide the 256-wide q4_k superblock. Full sha256 values and per-tensor shard sources are in the .provenance.json next to each file.

Usage

Requires gmlx. llama.cpp is not expected to load these files; the model support they would need does not exist there as of 2026-08-26.

Place one file next to the base model GGUF and gmlx autodetects it:

gmlx serve <base-model>.gguf --speculative

Notes:

Place exactly one drafter file next to the base model. gmlx detects it by GGUF header (arch qwen4exp-mtp), not by filename; with two present the lexically first wins.
Works with any base quantization (UD-Q3_K_XL, UD-Q4_K_XL, ...); the drafter comes from the bf16 source, not a quantized base.
MTP acceptance on Qwen models is markedly better with thinking mode enabled.
Q8_0 is the reference companion; Q4_K_L saves ~1 GiB at lower drafter precision.

Attribution and license

Source weights: Qwen/Qwen3.8-Flash-Next (Qwen team, Alibaba Cloud), Apache-2.0. These files repackage a subset of those weights and inherit that license. Pairs with unsloth/Qwen3.8-Flash-Next-GGUF or any other conversion. Extraction and encoding via mlx-kquant; the q4_k wire bytes are bit-identical to the reference GGUF codec.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: c82053e