/ Модель

Характеристики

Лицензия
MIT

voice-activity-detection

Поиск речи в аудиоАудио → label

PyanNet находит речевые фрагменты в аудиозаписях и подходит для сегментации речи перед последующей обработкой.

0скачиваний за 30 дней17лайковвеса обновлены21 дек 2020

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это модель сегментации речи PyanNet из библиотеки pyannote.audio, обученная Хьюго Бреденом и опубликованная пользователем julien-c. Она предназначена для обнаружения речевой активности в аудиозаписях: на вход подаётся аудиофайл, а модель определяет участки, где присутствует речь. Модель обучена на наборе данных DIHARD и доступна в формате PyTorch. Репозиторий распространяется по лицензии MIT. Карточка показывает пример запуска через pyannote.audio с обработкой WAV-файла на GPU.

Сценарии применения

  • поиск участков речи в аудиозаписи
  • отсечение тишины перед распознаванием речи
  • подготовка аудио для диаризации говорящих
  • сегментация речевых фрагментов в WAV-файлах

Ограничения

Карточка не сообщает показатели качества и условия, на которых модель проверялась; обучающий набор DIHARD может не отражать особенности всех типов аудио.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Example pyannote-audio Voice Activity Detection model

pyannote.audio.models.segmentation.PyanNet

♻️ Imported from https://github.com/pyannote/pyannote-audio-hub

This model was trained by @hbredin.

Demo: How to use in pyannote-audio

from pyannote.audio.core.inference import Inference

model = Inference('julien-c/voice-activity-detection', device='cuda')
model({
	"audio": "TheBigBangTheory.wav"
})

Citing pyannote-audio

@inproceedings{Bredin2020,
  Title = {{pyannote.audio: neural building blocks for speaker diarization}},
  Author = {{Bredin}, Herv{\'e} and {Yin}, Ruiqing and {Coria}, Juan Manuel and {Gelly}, Gregory and {Korshunov}, Pavel and {Lavechin}, Marvin and {Fustes}, Diego and {Titeux}, Hadrien and {Bouaziz}, Wassim and {Gill}, Marie-Philippe},
  Booktitle = {ICASSP 2020, IEEE International Conference on Acoustics, Speech, and Signal Processing},
  Address = {Barcelona, Spain},
  Month = {May},
  Year = {2020},
}

or

@inproceedings{Lavechin2020,
    author = {Marvin Lavechin and Marie-Philippe Gill and Ruben Bousbib and Herv\'{e} Bredin and Leibny Paola Garcia-Perera},
    title = {{End-to-end Domain-Adversarial Voice Activity Detection}},
    year = {2020},
    url = {https://arxiv.org/abs/1910.10655},
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Задача «voice-activity-detection» пока не поддерживается рантаймом.

Ревизия весов
acc2491

0 моделей