Характеристики

Контекст: 1 024 токена
Лицензия: CC BY-NC 4.0
Опубликована: 30 июн 2026

Ссылки

Hugging Face

nemotron-3.5-asr-streaming-0.6b-onnx-int4-cpu

DimQ1

Распознавание речиАудио → текст

Потоковая ONNX-модель Nemotron для многоязычного распознавания речи в реальном времени на CPU.

0скачиваний за 30 дней0лайковвеса обновлены30 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Nemotron 3.5 ASR Streaming 0.6B ONNX INT4 — потоковая модель автоматического распознавания речи, подготовленная DimQ1 на основе Nemotron 3.5 ASR Streaming 0.6B от NVIDIA. Модель преобразована в ONNX с помощью Microsoft Olive и квантизована до INT4 k-quant для запуска на CPU; в составе указаны encoder, decoder и joint-модуль. В README приведены 24 слоя энкодера и размер скрытого представления 1024.

Модель предназначена для распознавания речи в реальном времени с потоковой подачей аудио при CPU-инференсе. Общий размер файлов варианта INT4 составляет около 757 МБ. Метаданные отмечают многоязычную поддержку, но конкретные языки и длина контекста не приведены. Лицензия CC BY-NC 4.0 разрешает использование на условиях указанных ограничений, включая некоммерческий характер лицензии.

Сценарии применения

потоковая транскрибация речи на CPU
распознавание речи в реальном времени
транскрибация аудио в приложениях с ограниченными ресурсами

Ограничения

Качество и точность для варианта INT4 в README не приведены; конкретные поддерживаемые языки не перечислены. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Nemotron 3.5 ASR Streaming 0.6B — ONNX INT4 (CPU, fastest)

INT4 k-quant quantized ONNX model converted from NVIDIA Nemotron 3.5 ASR Streaming 0.6B using Microsoft Olive.

Fastest CPU inference — smallest model size, lowest latency. Best for real-time streaming ASR on CPU.

Model Details

Property	Value
Base model	NVIDIA Nemotron 3.5 ASR Streaming 0.6B
Encoder layers	24
Hidden size	1024
Quantization	INT4 k-quant (block_size=32)
Chunk size	0.56s (8,960 samples @ 16kHz)
Sample rate	16,000 Hz
Vocab size	13,088
Languages	80+ (multilingual)
VAD	Silero VAD included
Total size	~757 MB

Files

File	Size
`encoder.onnx` + `.data`	658 MB
`decoder.onnx` + `.data`	57 MB
`joint.onnx` + `.data`	36 MB
`silero_vad.onnx`	2.1 MB
`tokenizer.json`	0.7 MB

Available Variants

Model	Precision	Encoder	Total Size	Quality
FP32	FP32	2,380 MB	2,479 MB	⭐ Best
INT8	INT8 k-quant	922 MB	1,021 MB	Good
INT4	INT4 k-quant	658 MB	757 MB	⚡ Fastest

License

Inherits cc-by-nc-4.0 from NVIDIA.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

В репозитории нет весов в формате PyTorch/safetensors.

Ревизия весов: 0473ae0