/ Модель

Характеристики

Лицензия
Своя лицензия
Библиотека
llama.cpp
Опубликована
14 авг 2026

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4-DFlash-GGUF

Языковая модель

Квантизированная конверсия NVIDIA Nemotron 3.5 Lightning в GGUF для спекулятивного декодирования DFlash через llama.cpp.

1 205скачиваний за 30 дней0лайковвеса обновлены6 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это конверсия NVIDIA Nemotron 3.5 Lightning 30B A3B NVFP4 DFlash в формат GGUF, подготовленная Magnitude для использования с llama.cpp. Модель предназначена для ускорения генерации текста с помощью спекулятивного декодирования DFlash: черновой блок предлагает токены, а основная модель проверяет их. Конверсия выполнена из чекпойнта NVIDIA с помощью llama.cpp; в карточке указана квантизация NVFP4 и проверка результатов по эталонной реализации.

Параметры конфигурации чернового блока задают двунаправленное внимание и генерацию предложений из строк маски после опорного токена. Указана лицензия other; конкретные условия следует проверять в исходном репозитории NVIDIA.

Сценарии применения

  • ускорение генерации текста посредством спекулятивного декодирования
  • локальный запуск совместимого чекпойнта Nemotron через llama.cpp
  • интеграция DFlash-черновика в систему генерации на Magnitude

Ограничения

Требуются совместимость среды запуска с GGUF и поддержка соответствующего варианта DFlash; языковая поддержка и контекст в карточке не описаны.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

NVIDIA Nemotron 3.5 Lightning 30B A3B NVFP4 DFlash GGUF

Native NVFP4 GGUF conversion of nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4-DFlash for use with Magnitude.

Converted with llama.cpp at revision 9b05354ec6fb58b4e665e9a39ebc40285c015638.

Artifact

  • Quantization: NVFP4
  • SHA-256: ca3b2a765da43234524c0c83669b4f552e31f0f226c7afa509f133cfd050bc19

Draft metadata

  • dflash.attention.causal = false: the draft block uses bidirectional attention.
  • dflash.sample_from_anchor = false: proposals come from mask rows, starting after the anchor.
  • Derived from the NVIDIA checkpoint configuration and reference implementation; verified against reference outputs.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · llama.cpp

Нельзя запустить

У модели не указана задача.

Ревизия весов
4f5b414

0 моделей