/ Модель
Каталог

Характеристики

Контекст
40 960 токенов
Параметры
1,6 млрд
Лицензия
MIT
Архитектура
qwen3 · dense
Библиотека
transformers
Опубликована
8 окт 2026

Ссылки

Hugging FacearXiv 2610.11750

TEV-qwen3-8B

husj576
Генерация текстаТекст → текст

Черновая DFlash-модель для ускорения генерации Qwen/Qwen3-8B посредством спекулятивного декодирования с выбором по дереву.

225скачиваний за 30 дней0лайковвеса обновлены9 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

husj576 выпустил TEV-qwen3-8B — черновую модель DFlash для ускорения генерации с помощью спекулятивного декодирования с выбором по дереву. Это не самостоятельная языковая модель: чекпойнт обучен методом ExitTrain и должен использоваться вместе с целевой моделью Qwen/Qwen3-8B в системе DDTree + TEV. Архитектура черновой модели — DFlashDraftModel; она предлагает варианты продолжения, которые целевая модель проверяет при декодировании.

Модель предназначена для ускорения вывода Qwen3-8B. Обучение учитывает ограниченный бюджет дерева черновых токенов и обратную связь от целевой модели, чтобы эффективнее распределять его узлы. Репозиторий содержит веса safetensors; заявлены контекст до 40 960 токенов и лицензия MIT. В описанном эталонном сценарии реализации используются пакетная обработка размера один и размещение целевой и черновой моделей на одном GPU; для черновой модели требуется flash-attn.

Сценарии применения

  • Ускорение вывода Qwen/Qwen3-8B в DDTree + TEV
  • Спекулятивное декодирование с проверкой чернового дерева целевой моделью
  • Бенчмаркинг скорости генерации Qwen3-8B

Ограничения

Не является самостоятельной языковой моделью и рассчитана только на совместное использование с Qwen/Qwen3-8B. Эталонная реализация ориентирована на batch size 1 и размещение обеих моделей на одном GPU; для черновой модели требуется flash-attn.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

TEV Draft Model for Qwen3-8B

This repository contains the ExitTrain-trained DFlash draft model for Qwen/Qwen3-8B, released with TEV: Exit-Guided Speculative Decoding.

GitHub | Paper | DDTree + TEV guide

This is a draft model, not a standalone language model. It must be paired with the matching Qwen3-8B target model in a speculative decoding system.

Model details

FieldValue
Target modelQwen/Qwen3-8B
Draft architectureDFlashDraftModel
Training methodExitTrain
Tree builder and verifierDDTree + TEV
Draft block size16
Target layers36
Target feature layers[1, 9, 17, 25, 33]
PrecisionBF16

ExitTrain trains the drafter on its realized finite-budget draft trees. Target probabilities are evaluated under the actual tree-parent contexts, and target-derived exit feedback is used to improve where the bounded tree allocates its nodes.

Quick start with DDTree + TEV

git clone https://github.com/hsj576/TEV.git
cd TEV/ddtree
pip install -r requirements.txt

export TARGET_MODEL=Qwen/Qwen3-8B
export DRAFT_MODEL=husj576/TEV-qwen3-8B
bash scripts/run_ddtree_tev_smoke.sh

The smoke test runs GSM8K at temperature 1.0 with tree budget 64 by default.

Direct benchmark command

torchrun --nproc_per_node=1 --master_port=29700 benchmark.py \
  --model-name-or-path Qwen/Qwen3-8B \
  --draft-name-or-path husj576/TEV-qwen3-8B \
  --dataset gsm8k \
  --max-samples 128 \
  --max-new-tokens 2048 \
  --temperature 1.0 \
  --tree-budget 64 \
  --save-path runs/qwen3_8b/gsm8k__t1_0__tb64.pt

Without --skip-baseline-dflash, the benchmark also runs autoregressive decoding and block-parallel DFlash as reference paths.

Interactive demo

python -m application.webui \
  --target Qwen/Qwen3-8B \
  --draft husj576/TEV-qwen3-8B \
  --cuda-visible-devices 0 \
  --server-port 7860

Usage notes

  • Use this checkpoint only with Qwen/Qwen3-8B.
  • The released evaluation path uses the Qwen chat template with thinking disabled.
  • At positive temperature, the DDTree branch uses TEV sampling. At temperature 0, it uses the equivalent greedy tree-follow path.
  • The current reference implementation targets batch-one decoding and places the target and draft models on the same GPU.
  • flash-attn is required by the draft model. The target uses PyTorch SDPA when DDTree's custom tree mask is enabled.
  • Raw benchmark outputs include output-block lengths, decode rounds, TPOT, and per-stage timings.

Related checkpoints

Acknowledgements

The implementation builds on SpecForge, DFlash, and DDTree.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
DFlashDraftModel
Ревизия весов
fd16f81

0 моделей

    Создать бенчмарк