/ Модель
Каталог

Характеристики

Контекст
40 960 токенов
Параметры
844 млн
Лицензия
MIT
Архитектура
qwen3 · dense
Библиотека
transformers
Опубликована
8 окт 2026

Ссылки

Hugging FacearXiv 2610.11750

TEV-qwen3-4B

husj576
Генерация текстаТекст → текст

Черновая DFlash-модель для ускорения генерации Qwen3-4B методом спекулятивного декодирования TEV.

222скачиваний за 30 дней0лайковвеса обновлены9 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

TEV-qwen3-4B — вспомогательная черновая модель архитектуры DFlashDraftModel, разработанная husj576 для ускорения генерации с помощью спекулятивного декодирования TEV (Exit-Guided Speculative Decoding). Она обучена методом ExitTrain и предназначена для работы в паре с целевой моделью Qwen/Qwen3-4B: черновая модель предлагает дерево продолжений, а целевая модель проверяет их. Это не самостоятельная языковая модель. В репозитории указаны 844,4 млн параметров, контекст 40 960 токенов, формат safetensors и библиотека Transformers.

Модель рассчитана на ускорение генерации текста в системах DDTree + TEV и на соответствующие бенчмарки и демо. В опубликованном эталонном сценарии используются шаблон чата Qwen с отключённым режимом рассуждений, пакетная обработка размера один и размещение целевой и черновой моделей на одном GPU; для черновой модели требуется flash-attn. Лицензия — MIT. Результаты зависят от совместимого декодера и целевой Qwen3-4B; чекпойнт отдельно генерировать текст не предназначен.

Сценарии применения

  • ускорение генерации текста на Qwen3-4B
  • спекулятивное декодирование с проверкой дерева целевой моделью
  • бенчмаркинг DDTree и TEV
  • интерактивное демо ускоренного декодирования

Ограничения

Модель не является самостоятельной: она предназначена только для совместной работы с Qwen/Qwen3-4B и системой спекулятивного декодирования. Эталонная реализация рассчитана на batch size 1 и один GPU для обеих моделей; черновой модели требуется flash-attn.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

TEV Draft Model for Qwen3-4B

This repository contains the ExitTrain-trained DFlash draft model for Qwen/Qwen3-4B, released with TEV: Exit-Guided Speculative Decoding.

Paper: Where Draft Trees Lose Target Mass: Exit-Guided Speculative Decoding

GitHub | DDTree + TEV guide

This is a draft model, not a standalone language model. It must be paired with the matching Qwen3-4B target model in a speculative decoding system.

Model details

FieldValue
Target modelQwen/Qwen3-4B
Draft architectureDFlashDraftModel
Training methodExitTrain
Tree builder and verifierDDTree + TEV
Draft block size16
Target layers36
Target feature layers[1, 9, 17, 25, 33]
PrecisionBF16

ExitTrain trains the drafter on its realized finite-budget draft trees. Target probabilities are evaluated under the actual tree-parent contexts, and target-derived exit feedback is used to improve where the bounded tree allocates its nodes.

Quick start with DDTree + TEV

git clone https://github.com/hsj576/TEV.git
cd TEV/ddtree
pip install -r requirements.txt

export TARGET_MODEL=Qwen/Qwen3-4B
export DRAFT_MODEL=husj576/TEV-qwen3-4B
bash scripts/run_ddtree_tev_smoke.sh

The smoke test runs GSM8K at temperature 1.0 with tree budget 64 by default.

Direct benchmark command

torchrun --nproc_per_node=1 --master_port=29700 benchmark.py \
  --model-name-or-path Qwen/Qwen3-4B \
  --draft-name-or-path husj576/TEV-qwen3-4B \
  --dataset gsm8k \
  --max-samples 128 \
  --max-new-tokens 2048 \
  --temperature 1.0 \
  --tree-budget 64 \
  --save-path runs/qwen3_4b/gsm8k__t1_0__tb64.pt

Without --skip-baseline-dflash, the benchmark also runs autoregressive decoding and block-parallel DFlash as reference paths.

Interactive demo

python -m application.webui \
  --target Qwen/Qwen3-4B \
  --draft husj576/TEV-qwen3-4B \
  --cuda-visible-devices 0 \
  --server-port 7860

Usage notes

  • Use this checkpoint only with Qwen/Qwen3-4B.
  • The released evaluation path uses the Qwen chat template with thinking disabled.
  • At positive temperature, the DDTree branch uses TEV sampling. At temperature 0, it uses the equivalent greedy tree-follow path.
  • The current reference implementation targets batch-one decoding and places the target and draft models on the same GPU.
  • flash-attn is required by the draft model. The target uses PyTorch SDPA when DDTree's custom tree mask is enabled.
  • Raw benchmark outputs include output-block lengths, decode rounds, TPOT, and per-stage timings.

Related checkpoints

Acknowledgements

The implementation builds on SpecForge, DFlash, and DDTree.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
DFlashDraftModel
Ревизия весов
1cbd0f6

0 моделей

    Создать бенчмарк