/ Модель

Характеристики

Контекст
262 144 токена
Лицензия
Своя лицензия
Архитектура
qwen4_exp_mtp · dense
Базовая модель
Qwen3.8-Flash-Next
Библиотека
mlx
Опубликована
31 авг 2026

Qwen3.8-Flash-Next-MTP-bf16

Генерация текстаТекст → текст3 профессии

Вспомогательный bf16 MTP-драфтер для спекулятивного декодирования текста в связке с Qwen/Qwen3.8-Flash-Next.

295скачиваний за 30 дней0лайковвеса обновлены31 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ToPo-ToPo подготовил bf16-чекпойнт MTP-драфтера, выделенный из официальной модели Qwen/Qwen3.8-Flash-Next. Это вспомогательная часть для спекулятивного декодирования: сама по себе она не используется, а работает вместе с основной моделью. В репозитории указаны архитектура qwen4_exp_mtp, формат safetensors и размер около 4,9 ГиБ; метаданные также отмечают диалоговый режим и интерфейс вызова инструментов.

Для извлечения и запуска требуется mlx-vlm версии 0.7.0 или новее; в версии 0.6.17 нужной поддержки нет. Модель предназначена для ускорения генерации текста в связке с базовым чекпойнтом. Лицензия указана как other, поэтому конкретные условия использования следует сверять с лицензией исходной модели и репозитория.

Сценарии применения

  • ускорение генерации текста с Qwen/Qwen3.8-Flash-Next
  • спекулятивное декодирование в приложениях на MLX
  • ускорение диалоговой генерации
  • ускорение генерации с вызовом инструментов

Ограничения

Чекпойнт не предназначен для самостоятельного использования и требует совместимой основной модели; для извлечения и запуска нужна mlx-vlm версии 0.7.0 или новее. Условия лицензии обозначены как other.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.8-Flash-Next-MTP-bf16

Qwen/Qwen3.8-Flash-Next の公式 bf16 チェックポイントに内蔵された MTP ヘッド(mtp.* 31 テンソル)を切り出した、 投機デコード用ドラフター。単体では使わない。

  • 変換元: Qwen/Qwen3.8-Flash-Next(revision de4b8e4)
  • 変換ツール: mlx-vlm main(0.7.0rc0)の Qwen4ExpMTPSplitter
  • サイズ: 4.9 GiB(bf16)

必要環境

qwen4_exp_mtp の抽出・実行は mlx-vlm 0.7.0 以降(リリース版 0.6.17 には未収録)。

pip install "mlx-vlm @ git+https://github.com/Blaizzy/mlx-vlm@main"

使い方

python -m mlx_vlm generate --model ToPo-ToPo/Qwen3.8-Flash-Next-mlx-4bit \
    --draft-model ToPo-ToPo/Qwen3.8-Flash-Next-MTP-bf16 \
    --draft-kind mtp --draft-block-size 2 \
    --prompt "..." --max-tokens 512

量子化版リポジトリ(4bit / 8bit)の mtp/ サブフォルダにも同じものが入っているので、本体を落とせばドラフターも付いてくる。

抽出コマンド

from mlx_vlm.speculative.drafters.qwen4_exp_mtp.split import Qwen4ExpMTPSplitter
Qwen4ExpMTPSplitter().split("Qwen/Qwen3.8-Flash-Next", "Qwen3.8-Flash-Next-MTP-bf16")

量子化後のリポジトリからは mtp.* が落ちている(mlx-vlm の sanitize が除外する)ので、 必ず公式 bf16 から切り出すこと。

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Ревизия весов
44e5e73

0 моделей