Характеристики

Лицензия: Своя лицензия
Базовая модель: Qwen3.8-Flash-Next
Библиотека: gguf
Опубликована: 26 авг 2026

Ссылки

Qwen3.8-Flash-Next-MTP-ROCmFP4-FAST-GGUF

Генерация текстаТекст → текст3 профессии

Это квантизованная многотокенная предсказывающая головка (MTP) для модели Qwen3.8-Flash-Next, опубликованная Agention и основанная на разработках команды Qwen.

3 627скачиваний за 30 дней10лайковвеса обновлены30 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Размер головки составляет около 2,28 ГиБ. Она не является самостоятельной моделью и не выполняет задачи отдельно: её необходимо использовать совместно с Agention Qwen3.8-Flash-Next-ROCmFP4-FAST-GGUF для спекулятивного декодирования и ускорения генерации текста.

Модель предназначена для запуска через специальную ветку llama.cpp с поддержкой qwen4exp, ROCmFP4 и Vulkan, прежде всего на совместимом AMD-оборудовании, например Radeon 8060S. Головка содержит собственный MoE-компонент на 512 экспертов и рассчитана на контекст до 32768 токенов в приведённой конфигурации. На Radeon 8060S она увеличила скорость генерации примерно с 28,1 до 32,4 токена в секунду при максимуме чернового предсказания 3; принятие черновых токенов составило 0,612. Результаты зависят от оборудования и настроек, а адаптивное черновое предсказание в измерениях оказалось менее эффективным.

Основное ограничение — необходимость совместимого целевого GGUF-файла, специальной сборки llama.cpp и значительных ресурсов: целевая модель использует около 85 ГиБ, а головка добавляет ещё примерно 2,3 ГиБ. Проект имеет экспериментальный статус, а используемые изменения llama.cpp ещё не объединены в основную ветку. Лицензия указана как Qwen Community License 1.0.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.8-Flash-Next MTP draft head (ROCmFP4-FAST)

The multi-token-prediction head from Qwen/Qwen3.8-Flash-Next, 2.28 GiB. Qwen trains it jointly with the target model, so it drafts better than a separate small model would.

This is a draft head, not a model. On its own it does nothing. It is used with agentionai/Qwen3.8-Flash-Next-ROCmFP4-FAST-GGUF, which is an experimental build; see that card first.

Setup

qwen4exp and the ROCmFPx quant types are not in upstream llama.cpp yet, so build this branch:

git clone https://github.com/LaurentZuijdwijk/llama.cpp
cd llama.cpp && git checkout vulkan/qwen4exp-rocmfpx
cmake -B build -DGGML_VULKAN=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build -j

Run

./build/bin/llama-server \
  -m Qwen3.8-Flash-Next-ROCmFP4-FAST-00001-of-00005.gguf \
  -md Qwen3.8-Flash-Next-MTP-ROCmFP4-FAST.gguf \
  -ngl 99 --n-gpu-layers-draft 99 \
  --spec-type draft-mtp --spec-draft-n-max 3 -c 32768

Adds ~2.3 GiB to the ~85 GiB the target uses.

Measurements

Radeon 8060S (Ryzen AI MAX+ 395), 250 tokens at temp 0, each config warmed up first.

draft	t/s	acceptance
none	28.1	--
n-max 2	31.8	0.695
n-max 3	32.4	0.612

Quantized to match the target, not above it. A Q8_0 draft measured worse on both throughput and acceptance and cost 1.5 GiB more (30.3 t/s, 0.587): acceptance is the draft agreeing with the target, and two models quantized the same way are wrong in the same places.

Adaptive drafting also measured worse here (28.4 t/s, 0.468). It drafts longer when acceptance looks good, and this head carries its own 512-expert MoE, so each extra drafted token is a real forward pass.

Credits

qwen4exp support is the work of Daniel Han (@danielhanchen), from ggml-org/llama.cpp#27742, and the MTP graph is from #27739 (JJJYmmm). Both are unmerged drafts; if they land upstream, prefer upstream.

Quant formats hand-ported from ciru-ai/ROCmFPX. The ROCmFP4 format was created by charlie12345 in charlie12345/ROCmFPX, which ciru-ai's tree forks. Both upstream projects are MIT-licensed. Base model by the Qwen team.

Quantized and published by Agention.

License

Qwen Community License 1.0, included as LICENSE.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: 5a2cf56