/ Модель

Характеристики

Лицензия
Apache 2.0
Опубликована
12 авг 2026

marblenet-vad-tajik

Поиск речи в аудиоАудио → label

Модель MarbleNet, обученная с нуля для определения речевых и неречевых сегментов в таджикском аудио.

0скачиваний за 30 дней0лайковвеса обновлены12 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MarbleNet-3x2x64 Tajik VAD — модель лаборатории Saidzoda Lab для обнаружения речевой активности в аудиосигнале. Это классификатор сегментов речи и фона на архитектуре MarbleNet, реализованный в NeMo и обученный с нуля на таджикской речи и шумах и музыке из MUSAN. Модель рассчитана на роль VAD-фронтенда в голосовых агентах: она определяет, какие сегменты аудио содержат речь, а какие — нет.

Модель принимает аудио с частотой 16 кГц и использует MFCC-фронтенд с 64 мел-частотными признаками; выходные классы — background и speech. В описанном сравнении на 3498 сегментах с дикторами, не участвовавшими в обучении, указаны F1 0,998 и точность 0,998. При этом эталонные метки речи частично получены с помощью конвейера Silero-VAD и SNR-диаризации, а не независимой человеческой разметки, что ограничивает интерпретацию абсолютных метрик. Весовая модель распространяется под лицензией Apache-2.0.

Сценарии применения

  • выделение речевых сегментов в таджикских аудиозаписях
  • отсечение тишины и фоновых шумов перед распознаванием речи
  • VAD-фронтенд для таджикского голосового агента

Ограничения

Описанные метрики рассчитаны относительно эталона, в котором метки речи частично происходят из конвейера Silero-VAD и SNR-диаризации, а не из независимой человеческой разметки. Модель обучена для таджикской речи и аудио 16 кГц; качество на других языках и условиях записи не подтверждено.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MarbleNet-3x2x64 Tajik VAD (Saidzoda Lab)

A NeMo MarbleNet (segment-level speech/non-speech classifier) trained from scratch on Tajik speech + MUSAN noise/music, for use as the VAD front-end in the Tajik voice-agent pipeline.

Result

Head-to-head vs. Silero-VAD on the same 3498 held-out-narrator segments:

modelaccuracyprecisionrecallF1miss ratefalse-alarm rate
MarbleNet (this model)0.9980.99890.99710.9980.00290.0011
Silero-VAD0.9720.9720.9720.9720.0280.028

See marblenet_vs_silero.json in this repo for the full confusion-matrix breakdown.

Caveat (documented at eval time): the reference label ultimately traces to a Silero-VAD + SNR diarization pipeline for the speech class, not independent human annotation — MUSAN background segments are unambiguous negatives. Both systems are scored against the identical reference on the identical segments, so the head-to-head comparison is fair even though the reference itself has this provenance.

Training

  • Architecture: MarbleNet 3x2x64 (NeMo EncDecClassificationModel), 16kHz, MFCC front-end (64 mels/mfcc), trained from scratch (no pretrained init).
  • 100 epochs, batch_size=128, SGD, lr=0.01.
  • Labels: background, speech.
  • Hardware: 1x H100 (Nvidia Brev).

Files

  • marblenet_tajik_vad.nemo — self-contained NeMo archive (config + weights, best/last checkpoint: val_loss=0.0056 @ epoch 99/100). Load directly with:
import nemo.collections.asr as nemo_asr
model = nemo_asr.models.EncDecClassificationModel.restore_from("marblenet_tajik_vad.nemo")
  • marblenet_vs_silero.json — the full eval comparison above.

License

Apache-2.0.

This repo is public but gated (manual approval), per Saidzoda Lab policy.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели NVIDIA NeMo требуют отдельного рантайма.

Ревизия весов
3bea0c4

0 моделей