Характеристики

Контекст: 1 048 576 токенов
Параметры: 742 млн
Лицензия: Своя лицензия
Архитектура: qwen3 · dense
Базовая модель: NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4-DFlash
Библиотека: vllm
Опубликована: 13 авг 2026

Ссылки

Nemotron-3.5-Lightning-30B-A3B-DFlash-BF16

Генерация текстаТекст → текст3 профессии

Реконструированная в BF16 черновая модель Nemotron-3.5-Lightning DFlash для спекулятивного ускорения генерации в vLLM на Intel XPU.

130скачиваний за 30 дней0лайковвеса обновлены19 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SergiioB опубликовал реконструкцию черновой модели Nemotron-3.5-Lightning DFlash для запуска через vLLM на Intel XPU. Это не самостоятельная чат-модель: её используют как draft-модель спекулятивного декодирования вместе с целевой моделью GPTQ INT4 G64-sym. По карточке это архитектура Qwen3 с классом DFlashDraftModel; в репозитории указаны 741,7 млн параметров, формат safetensors и контекст до 1 048 576 токенов.

Веса реконструированы из NVFP4 в BF16, чтобы совместимый образ vLLM XPU мог загрузить официальный DFlash-спекулятор. Автор описывает копирование BF16-тензоров и деквантизацию NVFP4-тензоров MLP и fc. На Intel Arc Pro B70 с целевой GPTQ-моделью приведены замеры скорости генерации и принятия спекулятивных токенов; результаты относятся к конфигурации и условиям тестирования из карточки. Лицензия указана как other, поэтому перед использованием следует проверить условия исходной модели и репозитория.

Сценарии применения

ускорение генерации текста в vLLM с помощью speculative decoding
запуск DFlash-спекулятора на Intel XPU
тестирование Nemotron-3.5-Lightning с целевой GPTQ INT4-моделью

Ограничения

Модель не является самостоятельным чат-чекпойнтом и требует совместимой целевой GPTQ INT4 G64-sym модели и подходящей конфигурации vLLM XPU. Это реконструкция NVFP4-весов в BF16, а не официальный опубликованный BF16-чекпойнт; заявленные замеры ограничены указанной конфигурацией Intel Arc Pro B70.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.7Разработка и данныеDevOps, облако и эксплуатация IT-системAI помогает развёртывать, наблюдать и оптимизировать цифровые системы и облачную инфраструктуру.20 задач7 196моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Nemotron-3.5-Lightning DFlash — local BF16 reconstruction (Intel XPU)

⚠️ Draft only. Not a standalone chat model. Pair with the GPTQ INT4 G64-sym target.

This is a local NVFP4 → BF16 reconstruction of nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4-DFlash so vLLM XPU can load the official DFlash speculator. NVIDIA ships the draft as ModelOpt NVFP4 (E2M1 + E4M3 scales). The pinned XPU image does not consume that packing for this draft.

Publisher: SergiioB.

📖 Cookbook — setup, patches, methodology, evidence

Repo: intel-arc-pro-b70-inference-cookbook
Nemotron speed card + capacity ladder: NEMOTRON-DFLASH-B70.md
Model + launch recipe: NEMOTRON-B70.md
Image + patch matrix: IMAGE-AND-PATCH-MATRIX.md
Copy-paste launch lines: FULL-SETUP-COMMANDS.md

Launch with the GPTQ target

vllm serve /path/to/gptq-target \
  --quantization gptq --dtype float16 \
  --max-model-len 16384 --max-num-seqs 1 \
  --no-enable-prefix-caching --async-scheduling \
  --speculative-config '{"method":"dflash","model":"/path/to/this-draft","num_speculative_tokens":7}'

Set VLLM_XPU_ENABLE_XPU_GRAPH=1. On B70 also apply the cookbook patches (native grouped-topk v2 + SSU B8/W4).

Conversion

Attention, embeddings, and norms were already BF16 and were copied.
MLP + fc NVFP4 tensors were dequantized: E2M1 low-nibble-first × float8_e4m3fn × F32 weight_scale_2, group 16, linear (not swizzled). Matches vLLM nvfp4_emulation_utils decode.
quantization_config was removed from config.json. If a leftover hf_quant_config.json is present, rename it — vLLM will otherwise treat the draft as NVFP4 and fail on XPU.
19 matrices dequantized, 51 tensors copied. See CONVERSION.txt.

This is not a published official BF16 draft. It is a reconstruction.

Measured with the GPTQ target on Arc Pro B70

Real measurements from the publisher's card: isolated C1, n=5 medians, cache off, 150 W cap, DFlash n_spec=7. Commands and raw logs are in the cookbook (links above):

representative decode 186.61 t/s at exact p2048/g128 (174.60–201.83)
p8192/g128 157.92 t/s (1.81× vs matched no-spec 87.25 on that cell)
p8192/g1 cold input 7160 t/s (prompt tokens / client TTFT — not isolated engine prefill)
window acceptance 1830/3521 = 52.0%

Do not headline the p512 194.6 median (family range 140–220).

License

OpenMDW-1.1, same as the NVIDIA DFlash source.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · vllm

Можно запустить

Подбираем GPU…

Класс архитектуры: DFlashDraftModel
Ревизия весов: 178242e