/ Модель

Характеристики

Лицензия
CC BY 4.0
Библиотека
teensyvad
Опубликована
28 авг 2026

teensy-vad-v5

Поиск речи в аудиоАудио → label

Компактная потоковая модель для обнаружения речевой активности в телефонном аудио с частотой 8 кГц.

0скачиваний за 30 дней0лайковвеса обновлены28 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

teensy-vad-v5 — пятое поколение компактных детекторов голосовой активности семейства TeensyVAD, рассчитанное на телекоммуникационный звук с частотой 8 кГц. Модель разработана для потоковой обработки коротких аудиокадров и выдаёт события начала и окончания речи. В README описана архитектура: логарифмические мел-спектрограммы с дельта-признаками и контекстом 10 кадров подаются на трёхслойный MLP; окно составляет 25 мс, шаг — 10 мс, используется 20 мел-полос в диапазоне 80–3800 Гц. В семействе представлены варианты от 20 449 до 100 тысяч параметров, а для этого репозитория указаны файлы ONNX.

Модель предназначена для выделения речевых участков в телефонных потоках и комнатных записях, включая потоковую сегментацию. README приводит метрики на TEN и AMI и скорость около 63–64 мкс на 20-миллисекундный фрагмент для отдельных вариантов семейства; рекомендуемым вариантом назван v5-80k. Данные обучения заменены на MUSAN с лицензией CC BY 4.0; лицензия репозитория также CC BY 4.0.

Ограничения: модель рассчитана на английскую речь, не обучалась на музыке, поэтому музыка распознаётся как активность; контекст составляет 100 мс, а фрикативные звуки на фоне шума остаются сложными. Подавления эха нет, поэтому перед VAD рекомендуется применять эхоподавление.

Сценарии применения

  • определение начала и конца речи в телефонном потоке
  • сегментация речи в реальном времени
  • выделение речевых фрагментов в комнатных аудиозаписях

Ограничения

Модель рассчитана на английскую речь и не обучалась на музыке, которая может классифицироваться как активность. Короткий контекст затрудняет обнаружение фрикативных звуков в шуме; подавления эха нет.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

teensy-vad-v5 — the commercial-safe retrain

teensy-vad-v5 is the fifth generation of the TeensyVAD family: tiny (20k–100k parameter) voice activity detectors for 8 kHz telephony audio, now trained with a fully commercial-safe data pipeline — the one thing that kept v4 out of commercial deployments.

Same architecture and feature frontend as v4 (log-mel + deltas + 10-frame context → 3-layer MLP, 25/25 ms window, 10 ms hop, 20 mel bands, 80–3800 Hz). The only change is the training data: the environmental noise pool is MUSAN (CC BY 4.0) instead of ESC-50 (CC BY-NC-SA 3.0), so the weights carry no non-commercial restriction.

Results (human-labelled real audio, same protocol as every prior family)

modelparamsKBTEN F1*TEN AUCAMI F1AMI AUCµs/20ms
teensy-v5 (20k)20,449870.89530.87600.88360.857964
teensy-v5-40k39,6091620.89630.88100.88530.862064
teensy-v5-80k80,3733210.90160.88770.88450.862263
teensy-v5-100k99,5933960.90080.88650.88230.859663
Silero VAD (1.77M)1,774,00022000.93810.95190.71360.893894
WebRTC VAD——n/an/a0.84190.76022
Energy VAD———0.67020.59200.65787

* TEN at best-F1 threshold (upper bound); AMI at AMI-dev-calibrated thresholds, identical protocol for every system.

Headlines

  • TEN AUC 0.8877 (v5-80k) — new family record, ahead of v4-80k (0.880) and FlashVAD v0.1 (0.882) at the same parameter count.
  • AMI F1 0.8853 (v5-40k) is the best room-audio F1 of any teensy generation, at half the size of v4-80k.
  • Speed unchanged: ~63–64 µs per 20 ms telephony chunk (single core).
  • v5-80k is the recommended default; v5-40k is the size/accuracy sweet spot.

teensy-v5 vs baselines

Files

fileuse
teensy-v5.npz family (this repo: -20k/-40k/-80k/-100k)numpy runtime (float32 weights + calibrated thresholds in metadata)
teensy-v5-*.onnxONNX float32 (other runtimes/languages)
teensy-v5-*-int8.onnxONNX dynamic int8 (22 KB for the 20k model)

Quick start (numpy only):

from teensyvad import StreamingVAD
vad = StreamingVAD("teensy-v5-80k.npz")
for frame in phone_frames:            # 20 ms PCM16LE @ 8 kHz
    for ev in vad.feed(frame):
        print(ev.t, ev.type)          # speech_start / speech_end

Thresholds ship inside the .npz metadata (thr_hi/thr_lo, calibrated on AMI dev meetings; v5 converged on thr_hi 0.10 — the distant-room profile). For close-mic telephony, start at thr_hi 0.45 as in prior generations.

License & data

Weights: CC BY 4.0 — commercial use, redistribution and derivatives permitted with attribution (© 2026 Pankaj Doharey / Metacritical, TeensyVAD by VoxLogic).

Training data is fully commercial-safe:

  • Speech: LibriSpeech train-clean-100 (CC BY 4.0)
  • Noise: MUSAN (CC BY 4.0) — replacing the ESC-50 CC BY-NC-SA noise of v3/v4
  • Ambience: AMI room audio (CC BY 4.0), calibration meetings only
  • Teacher labels: Silero VAD (MIT)
  • Code: MIT

This is the same architecture and recipe as v4, with the noise pool swapped; the generation is versioned separately so v4 (NC) and v5 (CC BY) lineages remain unambiguous.

Limitations

English speech; no music in training (music reads as activity); 100 ms context (fricatives in noise remain the hardest frames); no AEC — use an echo canceller upstream. Full details: family papers and INTEGRATION.md.

Citation

@software{doharey2026teensyvadv5,
  title  = {TeensyVAD-v5: Commercial-Safe Voice Activity Detection
            for Telephony in 20k--100k Parameters},
  author = {Doharey, Pankaj},
  year   = {2026},
  url    = {https://huggingface.co/Teensy/teensy-vad-v5}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · teensyvad

Нельзя запустить

Задача «voice-activity-detection» пока не поддерживается рантаймом.

Ревизия весов
c7676a9

0 моделей