/ Модель

Характеристики

Лицензия
MIT
Опубликована
2 мар 2022

voice-activity-detection

Распознавание речиАудио → текст6 профессий

pyannote/voice-activity-detection — открытая модель для обнаружения участков речи в аудиозаписях, разработанная командой pyannote.audio.

474 тыс.скачиваний за 30 дней243лайкавеса обновлены10 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Она предназначена для voice activity detection и может использоваться как этап предварительной обработки в автоматическом распознавании речи, сегментации аудио и задачах speaker diarization.

Модель реализована как pipeline на базе pyannote.audio 2.1 и работает с аудио; сведения о размере, конкретной архитектуре, поддерживаемых языках и максимальной длине контекста в карточке не указаны. Результатом является временная шкала интервалов, в которых присутствует активная речь. В качестве связанных наборов данных указаны AMI, DIHARD и VoxConverse. Для использования требуется принять условия доступа к зависимой модели pyannote/segmentation и настроить токен Hugging Face.

Модель распространяется по лицензии MIT. README не содержит количественных метрик качества и подробного описания ограничений, поэтому пригодность для конкретного типа аудио и требуемый уровень точности необходимо проверять отдельно.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Using this open-source model in production?
Consider switching to pyannoteAI for better and faster options.

🎹 Voice activity detection

Relies on pyannote.audio 2.1: see installation instructions.

# 1. visit hf.co/pyannote/segmentation and accept user conditions
# 2. visit hf.co/settings/tokens to create an access token
# 3. instantiate pretrained voice activity detection pipeline

from pyannote.audio import Pipeline
pipeline = Pipeline.from_pretrained("pyannote/voice-activity-detection",
                                    use_auth_token="ACCESS_TOKEN_GOES_HERE")
output = pipeline("audio.wav")

for speech in output.get_timeline().support():
    # active speech between speech.start and speech.end
    ...

Citation

@inproceedings{Bredin2021,
  Title = {{End-to-end speaker segmentation for overlap-aware resegmentation}},
  Author = {{Bredin}, Herv{\'e} and {Laurent}, Antoine},
  Booktitle = {Proc. Interspeech 2021},
  Address = {Brno, Czech Republic},
  Month = {August},
  Year = {2021},
}
@inproceedings{Bredin2020,
  Title = {{pyannote.audio: neural building blocks for speaker diarization}},
  Author = {{Bredin}, Herv{\'e} and {Yin}, Ruiqing and {Coria}, Juan Manuel and {Gelly}, Gregory and {Korshunov}, Pavel and {Lavechin}, Marvin and {Fustes}, Diego and {Titeux}, Hadrien and {Bouaziz}, Wassim and {Gill}, Marie-Philippe},
  Booktitle = {ICASSP 2020, IEEE International Conference on Acoustics, Speech, and Signal Processing},
  Address = {Barcelona, Spain},
  Month = {May},
  Year = {2020},
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели pyannote требуют отдельного рантайма.

Ревизия весов
8d678d7

0 моделей