/ Модель

Характеристики

Лицензия
Apache 2.0
Библиотека
pytorch
Опубликована
5 окт 2026

audioforge-heads

Поиск речи в аудиоАудио → label

Набор обученных головок для потокового определения речевой активности, целевого говорящего и конца реплики в голосовых агентах.

0скачиваний за 30 дней0лайковвеса обновлены5 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Audioforge Heads — набор обученных голов для потокового аудиофронтенда Audioforge, предназначенного для голосовых агентов. Головки работают поверх замороженной потоковой модели NVIDIA; в репозитории представлены варианты для stt_en_fastconformer_hybrid_large_streaming_multi и nemotron-speech-streaming-en-0.6b, а также отдельные головки целевого говорящего. Основная задача, указанная в метаданных, — обнаружение речевой активности.

Модель рассчитана на потоковую обработку речи в сценариях голосовых агентов: помимо определения наличия речи, головки поддерживают распознавание целевого пользователя и определение конца реплики. Файлы содержат только головки; базовые модели NVIDIA не включены и загружаются отдельно. Репозиторий распространяется по лицензии Apache-2.0, при этом базовые модели имеют собственные лицензии.

Сценарии применения

  • определение начала и наличия речи в аудиопотоке
  • выделение речи целевого пользователя в голосовом интерфейсе
  • определение момента завершения реплики собеседника
  • построение потокового фронтенда для голосового агента

Ограничения

Головки поставляются без базовых моделей NVIDIA, которые необходимо получать отдельно и использовать на условиях их собственных лицензий. Варианты ориентированы на потоковую английскую речь.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

audioforge heads

Small trained heads for audioforge, a real-time speech front end for voice agents. They sit on top of one frozen NVIDIA streaming model and add voice activity, "is it the user?" and "is the turn over?". These files are the heads only. The NVIDIA models are not redistributed here; audioforge-download fetches them from NVIDIA under their own licences.

filecorewhat it is
served_heads_v0.4.pt115M (default)VAD, turn, speaker and speech heads for stt_en_fastconformer_hybrid_large_streaming_multi
served_heads_0p6b_v0.4.pt0.6Bthe same heads retrained on nemotron-speech-streaming-en-0.6b
tsvad_spk.pt, tsvad_0p6b.pt115M, 0.6Btarget-speaker VAD head
voice_gender_115m.pt, voice_gender_0p6b.pt115M, 0.6Bperceived voice gender head

Use

git clone https://github.com/maxmelichov/audioforge && cd audioforge
uv run audioforge-download   # fetches the NVIDIA model and checks these heads
uv run audioforge-serve

The same files ship in the GitHub repo's assets/, so the download works without this page. Results and the test protocol are in the repo's docs/RESULTS.md.

Licence

The heads are Apache-2.0. The NVIDIA base models keep their own licences: CC-BY-4.0 for the 115M model (credit to NVIDIA), NVIDIA Open Model License for the 0.6B model.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

Задача «voice-activity-detection» пока не поддерживается рантаймом.

Ревизия весов
a537f58

0 моделей