Qwen3.6-35B-A3B-DFlash-ja

Qwen/Qwen3.6-35B-A3B ファミリ向けの DFlash 互換 draft model です。NVFP4 量子化版を target にした投機的デコーディングで日本語タスクをもう少し速く回せないか、というお試しで作ってみました。

z-lab/Qwen3.6-35B-A3B-DFlash を初期重みとして英語 + 日本語データで追加学習したところ、日本語タスクの acceptance length が改善 されました。英語ベンチでも z-lab と同等あるいは僅かに上回る結果になっています。

DFlash (An et al., arXiv:2602.06036) の block-diffusion drafter です。Qwen3.6 を target にした投機的デコーディングで使えます。vLLM の --speculative-config method=dflash でそのまま動作します。

Installation

uv pip install vllm
uv pip install -U vllm --torch-backend=auto --extra-index-url https://wheels.vllm.ai/nightly

使い方 (vLLM)

ベンチマーク時に使用した推奨設定です。

vllm serve RedHatAI/Qwen3.6-35B-A3B-NVFP4 \
  --tokenizer Qwen/Qwen3.6-35B-A3B \
  --tensor-parallel-size 1 \
  --gpu-memory-utilization 0.85 \
  --max-num-seqs 4 \
  --max-num-batched-tokens 32768 \
  --enable-chunked-prefill \
  --attention-backend flash_attn \
  --mamba_ssm_cache_dtype float32 \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder \
  --enable-auto-tool-choice \
  --dtype auto \
  --trust-remote-code \
  --speculative-config '{"method":"dflash","model":"zan/Qwen3.6-35B-A3B-DFlash-ja","num_speculative_tokens":15}'

学習レシピ (概要)

ベンチマーク

論文に倣い (max_tokens=1024, num_spec=15) でデータセット平均 τ (mean accept length) と median tok/s を測定してみました。

Concurrency = 1 (single-user latency)

Concurrency = 24 (production batched serving)

⚠ tok/s は per-stream の中央値 (GPU を 24 並列で分けた個別 stream の値) です。総スループット (system tok/s) ではないため、N=1 より小さい数字になっています。

Multi-turn

各会話 2 turn (turn1 + 続きの follow-up)、両 turn 通算で τ / tok/s を集計しています。max_tokens=1024/turn, concurrency=4 です。

⚠ ベンチマーク条件について

上記の z-lab 列は 本環境で再測定した値 であり、z-lab がモデルカードで公開している τ (例: GSM8K 6.73, MT-Bench 5.14) とは別物です。計測条件が異なります。

NVFP4 量子化と subset 取得の影響で、τ の絶対値は z-lab 公式 (理想化された fp16 環境) より 30-50% ほど低めに出ています。

既知の制約

• 学習と推論で量子化の mismatch があります:
  • target hidden の抽出は bf16 の Qwen/Qwen3.6-35B-A3B で実施しました (vLLM の extract_hidden_states モードが Qwen3.6 の multi-modal config と衝突してしまったためです)
  • 推論時は NVFP4 の RedHatAI/Qwen3.6-35B-A3B-NVFP4 を target にする想定です

ライセンス

Apache 2.0 (上流 Qwen3.6 / z-lab 継承)。

謝辞

モデル・コード

• 上流 z-lab/Qwen3.6-35B-A3B-DFlash の事前学習 (~800K sample 相当) を継承
• target / tokenizer の Qwen/Qwen3.6-35B-A3B (Alibaba Qwen team)
• 推論時 target の RedHatAI/Qwen3.6-35B-A3B-NVFP4 (Red Hat AI による NVFP4 量子化)
• DFlash 論文: An et al., arXiv:2602.06036
• 学習レシピは vllm-project/speculators を参考

学習データ

• HuggingFaceH4/ultrachat_200k (英語 chat、Microsoft / HuggingFace H4)
• kunishou/databricks-dolly-15k-ja (Databricks Dolly 15k の日本語訳、kunishou 様)

ベンチマークデータ

• openai/gsm8k (Cobbe et al., OpenAI)
• openai_humaneval (Chen et al., OpenAI)
• philschmid/mt-bench (LMSYS MT-Bench、philschmid 様の HF mirror)
• sbintuitions/MGSM_ja (MGSM 日本語、SB Intuitions 様)
• kogi-jwu/jhumaneval (HumanEval 日本語訳、kogi-jwu 様)
• elyza/ELYZA-tasks-100 (日本語タスク評価、ELYZA 様)