/ Модель

Характеристики

Лицензия
CC BY 4.0
Библиотека
teensyvad
Опубликована
28 авг 2026

teensy-vad-v6

Поиск речи в аудиоАудио → label

Компактная потоковая модель обнаружения голосовой активности в телефонном аудио 8 кГц, выдающая события начала и окончания английской речи.

0скачиваний за 30 дней0лайковвеса обновлены28 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

teensy-vad-v6 — шестое поколение модели TeensyVAD для обнаружения голосовой активности, разработанное авторами семейства TeensyVAD. Модель принимает аудиокадры PCM16LE с частотой 8 кГц и выдаёт события начала и окончания речи. Она предназначена для потоковой обработки телефонного аудио и работы в реальном времени; указанная задержка обработки составляет около 64 микросекунд на кадр длительностью 20 мс.

Вместо увеличения числа параметров модель использует временной контекст 250 мс и обучение с усиленным вниманием к сложным примерам. Рекомендуемый вариант v6-a2 содержит около 49 тысяч параметров и, согласно README, близок к пику точности v5-80k при меньшем размере; также доступны варианты для эффективности и для работы с трудными примерами. Модель распространяется в формате ONNX, использует библиотеку teensyvad и лицензию CC BY 4.0, допускающую коммерческое использование при соблюдении её условий.

Модель рассчитана на английскую речь и ориентирована на телефонные сигналы с частотой 8 кГц. Она не обучалась на музыке, использует ограниченный контекст 250 мс и не выполняет эхоподавление; для чистой речи с близкого микрофона рекуррентные модели Silero могут показывать лучшие результаты.

Сценарии применения

  • определение начала и конца речи в телефонном аудио
  • разделение речевых и неречевых фрагментов в потоковом сигнале
  • обнаружение речи в записях совещаний и разговоров
  • обработка голосовых кадров в реальном времени на малоресурсных устройствах

Ограничения

Поддерживает английскую речь, не обучалась на музыке и не выполняет эхоподавление. Временной контекст ограничен 250 мс; для чистой речи с близкого микрофона Silero может показывать лучшие результаты.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

teensy-vad-v6 — context beats capacity

teensy-vad-v6 is the sixth generation of the TeensyVAD family. Instead of adding parameters (which our measured capacity ablation shows hurts past 80k), v6 widens the model's temporal context from 100 ms to 250 ms and adds hard-example mining — and every v6 variant at ≤49k params outperforms the corresponding v5 checkpoint on the real-world benchmarks.

Same numpy-only runtime, same 8 kHz native pipeline, same CC BY 4.0 commercial-safe training data (LibriSpeech + MUSAN + AMI ambience, Silero teacher) as v5.

Ablation: context vs capacity (TEN VAD set ROC-AUC)

variantparamscontextminingTEN F1*TEN AUCAMI F1AMI AUCµs/20ms
v5-20k20,449100 ms—0.89530.87600.88360.857964
v5-80k (v5 peak)80,373100 ms—0.90160.88770.88450.862263
v5-150k148,941100 ms—0.89930.88270.88610.862266
v5-200k198,431100 ms—0.89750.88490.88490.859975
v6-a124,441250 ms—0.90810.88340.88420.868364
v6-a249,249250 ms—0.90810.88700.88220.872666
v6-c20,449100 ms✓0.89570.87990.88530.859463
Silero VAD (1.77M)1,774,000recurrent—0.93810.95190.71360.893894
WebRTC VAD~6k10 ms—n/an/a0.84190.76022
Energy VAD————0.67020.59200.65787

* TEN at best-F1 threshold (upper bound); AMI at AMI-dev-calibrated thresholds, identical protocol for every system.

Findings

  • Capacity ceiling, measured: widening the v5 MLP from 80k → 200k params lowers TEN AUC (0.8877 → 0.8849) while latency grows 19%. The 100 ms window saturates at 80k parameters.
  • Context is the lever: at 24k params, 250 ms of context beats the family's entire 100 ms capacity curve on TEN F1 (0.9081) and posts the best AMI AUC of any sub-100k model (0.8683).
  • Best accuracy/size trade-off in the family: v6-a2 matches the v5 80k peak (TEN AUC 0.8870 vs 0.8877) with 60% fewer parameters, the best AMI AUC of any generation (0.8726), and identical speed.
  • Hard-example mining (oversampling Silero-vs-construction disagreement frames) adds ~+0.004 TEN AUC at unchanged size, and ties the family-best AMI F1 (0.8853) at 20k parameters.
  • Silero still leads clean near-mic ranking — at 36× the parameters with a recurrent architecture. In real rooms (AMI) every teensy generation since v1-v2 leads its F1 by a wide margin (0.88+ vs 0.714).

teensy-v6 vs baselines context vs capacity ablation

Files

fileuse
teensy-v6-a1-k25-24k.*efficiency pick — best TEN F1 in the family at 24k params
teensy-v6-a2-k25-49k.*recommended default — v5-80k-class accuracy, 60% smaller
teensy-v6-c-20k.*mining pick — best AMI F1 at 20k params
*.onnx / *-int8.onnxONNX float32 / dynamic int8 (22–50 KB), parity-verified

Quick start (numpy only):

from teensyvad import StreamingVAD
vad = StreamingVAD("teensy-v6-a2-k25-49k.npz")
for frame in phone_frames:            # 20 ms PCM16LE @ 8 kHz
    for ev in vad.feed(frame):
        print(ev.t, ev.type)          # speech_start / speech_end

Thresholds ship in the metadata, calibrated on AMI dev meetings (thr_hi 0.10, distant-room profile; use thr_hi 0.45 for close-mic).

License & data

Weights: CC BY 4.0 — commercial use permitted with attribution (© 2026 Pankaj Doharey / Metacritical, TeensyVAD by VoxLogic). Training data unchanged from v5: LibriSpeech train-clean-100 (CC BY 4.0), MUSAN noise (CC BY 4.0), AMI ambience (CC BY 4.0), Silero teacher (MIT). Code: MIT.

Limitations

English speech; no music in training; context is 250 ms (not unbounded — recurrent teachers still hold the clean near-mic crown); no AEC. Full family ablation and protocol: the TeensyResearch paper page and hf_upload/teensy-vad-3/BENCHMARKS.md.

Citation

@software{doharey2026teensyvadv6,
  title  = {TeensyVAD-v6: Context Beats Capacity in Tiny
            Telephony Voice Activity Detection},
  author = {Doharey, Pankaj},
  year   = {2026},
  url    = {https://huggingface.co/Teensy/teensy-vad-v6}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · teensyvad

Нельзя запустить

Задача «voice-activity-detection» пока не поддерживается рантаймом.

Ревизия весов
f257ec6

0 моделей