/ Модель

Характеристики

Лицензия
Своя лицензия
Базовая модель
NVIDIA-NemotronLabs-VoiceChat-11B
Опубликована
4 авг 2026

NVIDIA-NemotronLabs-VoiceChat-11B-Spark

Обработка аудиоАудио → аудио

Квантизированная голосовая модель на базе NVIDIA NemotronLabs VoiceChat 11B для диалогов с аудиовводом и аудиовыводом на DGX Spark.

0скачиваний за 30 дней26лайковвеса обновлены15 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это общественная конверсия модели NVIDIA NemotronLabs VoiceChat 11B, подготовленная pipecat-ai для NVIDIA DGX Spark с ускорителем GB10. Она основана на nvidia/NVIDIA-NemotronLabs-VoiceChat-11B и предназначена для голосового диалога в реальном времени, включая многократные реплики и вызов функций в среде Pipecat. Модель принимает аудио и выдаёт аудио; текстовый ввод синтезируется в речь и работает в полудуплексном режиме с микрофонным вводом.

В конверсию входят GPTQ W8A16-квантизация части Nano-компонентов и 8-битные веса EarTTS с FP32-активациями. Релиз прошёл квалификационные проверки на указанной конфигурации DGX Spark, включая длительный paced-тест; другие аппаратные и программные конфигурации не квалифицированы. Для EarTTS используется скользящее окно на 1500 позиций, а длительность сессии и объём доступной унифицированной памяти ограничены.

Модель может повторяться, вести нежелательный монолог, ошибаться при выборе инструментов, искажать результаты вызова функций, терять слова транскрипта или иногда выдавать тишину; runtime добавляет контроль и восстановление, но не устраняет ошибки самой модели. Лицензия указана как other; README подчёркивает, что это не выпуск NVIDIA, а общественная конверсия.

Сценарии применения

  • голосовой диалог в реальном времени через Pipecat
  • многорепличные голосовые сессии в браузере через WebRTC
  • вызов функций в голосовом ассистенте
  • обработка микрофонного аудио и генерация голосового ответа

Ограничения

Квалифицирована только для NVIDIA DGX Spark/GB10 с указанным в README ПО; другие конфигурации не проверены. Возможны повторы, ошибки вызова функций, пропуски слов и редкие беззвучные ответы, а также ограничения по длительности сессии и памяти.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

NVIDIA NemotronLabs VoiceChat 11B — DGX Spark community quantization

This is a community conversion of nvidia/NVIDIA-NemotronLabs-VoiceChat-11B at immutable parent revision fb0f94eaf4d03ddc430f39565229393fa1b50c26. It is not an NVIDIA release. It targets one NVIDIA DGX Spark (GB10, Linux ARM64) and the runtime in github.com/pipecat-ai/nemotron-voicechat-dgx-spark.

Contents

  • nano/: calibrated symmetric GPTQ W8A16, group 128, for 105 MLP, Mamba, and text-head tensors. The function head, embeddings, and attention projections remain full precision. K=15,680 down projections are zero-padded to 15,744 for group-128 Marlin execution.
  • eartts/: symmetric per-output-channel W8 weights with FP32 activations and accumulation. The qualified runtime configuration uses a 1,500-position sliding window.
  • calibration/replay.tar: exact fused-embedding calibration/evaluation replays in a deterministic archive; calibration/manifest.json inventories and hashes every archived file. The corpus contains no raw user recordings.
  • manifests/release.json: SHA-256 and byte count for every release file.
  • reports/: portable conversion evidence.

The ordinary setup path downloads this release. The source repository also contains the deterministic production conversion code, corpus selection, 100 GiB disk guard, dual clean-process conversion check, component gates, and exact reproduction command.

Qualification

Production Candidate 1 passed the held-out Nano control-token gate, EarTTS decode with independent Parakeet transcription, real browser/Pipecat SmallWebRTC multi-turn tests, and function calling. Its two-frame mean passed the 80 ms cadence target and its two-frame p95 was a documented near miss near 82 ms. Browser playback uses a small adaptive jitter buffer because delivery jitter can exceed one 80 ms audio slice.

The current public runtime passed paced 12,000-frame qualification on both the downloaded artifact and a byte-identical public-source reproduction. Late-block queue slopes were 0.289 and 0.375 ms/minute, with peak implied playback debt of 382 and 400 ms respectively; the earlier linear EarTTS drift did not recur. All 18 typed turns in each successful sustained run produced non-silent audio that passed independent ASR. Sessions close gracefully at the declared model frame limit.

The qualified platform identity is:

  • NVIDIA DGX Spark / GB10, compute capability 12.1
  • NVIDIA driver 580.142
  • Linux kernel 6.17.0-1014-nvidia
  • NVIDIA PyTorch 25.12 lineage

Other hardware and software combinations are not qualified by this release.

Known limitations

The upstream model can self-talk, repeat canned replies, choose or skip the wrong tool, mis-speak tool results, drop transcript words, or occasionally produce a silent response. The deployment adds bounded watchdog and recovery behavior but cannot eliminate model-level errors. One retained source-runtime campaign also encountered a malformed late function-call recovery that disabled two-frame drafting and failed the queue-debt gate; a fresh-stack repeat passed. Typed input is synthesized to audio and is half-duplex with microphone input. Session length and unified-memory headroom are explicit runtime limits.

The replay metadata field runtime.image records the local image label used when the exact calibration/evaluation tensors were captured. The label is provenance only, is not a downloadable dependency, and is not used by the conversion or runtime paths. Reproduction uses the pinned public source graph and the tensor/file hashes in the release manifest.

See the source repository's known-limitations and provenance documents for the complete operational record.

This source copy includes qualification completed after immutable weight revision a20c68547d27421c1e66bd501bf295569a0cc309 was published. It supersedes the model-card prose frozen at that revision; the qualified weight bytes and their signed manifest are unchanged.

License and attribution

The parent model and these redistributed derivatives are governed by OpenMDW-1.1; see LICENSE. NVIDIA origin and copyright notices are retained in THIRD_PARTY_NOTICES.md. This repository identifies the exact parent above and does not claim NVIDIA sponsorship or endorsement.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
fdf70ed

0 моделей