/ Модель

Характеристики

Лицензия
MIT
Опубликована
2 мар 2022

overlapped-speech-detection

Распознавание речиАудио → текст4 профессии

pyannote/overlapped-speech-detection — открытая модель для обнаружения участков аудиозаписи, в которых одновременно говорят два или более человека.

1 813скачиваний за 30 дней65лайковвеса обновлены10 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Она разработана для экосистемы pyannote.audio; среди авторов и разработчиков указаны Hervé Bredin, Antoine Laurent и участники команды pyannote.audio.

Модель предназначена для анализа многоголосой речи и может использоваться как компонент систем автоматической диаризации, распознавания речи и обработки записей встреч, разговоров и других аудиоданных с перекрывающейся речью. Результатом работы является временная шкала интервалов, в которых обнаружена одновременная активность нескольких говорящих. Модель работает с аудио; сведения о поддерживаемых языках, размере, точной архитектуре и максимальной длине контекста в README не указаны. Pipeline основан на pyannote.audio 2.1 и обучался или оценивался с использованием данных AMI, DIHARD и VoxConverse.

Сильная сторона модели — специализированное обнаружение перекрывающейся речи, полезное для последующей overlap-aware resegmentation и повышения качества анализа многоголосых записей. Ограничения включают отсутствие в README подробных количественных метрик, информации о языковой универсальности, вычислительных требованиях и гарантируемой производительности в конкретных условиях. Модель распространяется под лицензией MIT, однако для использования через указанный pipeline требуется принять условия доступа к модели pyannote/segmentation на Hugging Face и применить токен доступа.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Using this open-source model in production?
Consider switching to pyannoteAI for better and faster options.

🎹 Overlapped speech detection

Relies on pyannote.audio 2.1: see installation instructions.

# 1. visit hf.co/pyannote/segmentation and accept user conditions
# 2. visit hf.co/settings/tokens to create an access token
# 3. instantiate pretrained overlapped speech detection pipeline
from pyannote.audio import Pipeline
pipeline = Pipeline.from_pretrained("pyannote/overlapped-speech-detection",
                                    use_auth_token="ACCESS_TOKEN_GOES_HERE")
output = pipeline("audio.wav")

for speech in output.get_timeline().support():
    # two or more speakers are active between speech.start and speech.end
    ...

Support

For commercial enquiries and scientific consulting, please contact me.
For technical questions and bug reports, please check pyannote.audio Github repository.

Citation

@inproceedings{Bredin2021,
  Title = {{End-to-end speaker segmentation for overlap-aware resegmentation}},
  Author = {{Bredin}, Herv{\'e} and {Laurent}, Antoine},
  Booktitle = {Proc. Interspeech 2021},
  Address = {Brno, Czech Republic},
  Month = {August},
  Year = {2021},
}
@inproceedings{Bredin2020,
  Title = {{pyannote.audio: neural building blocks for speaker diarization}},
  Author = {{Bredin}, Herv{\'e} and {Yin}, Ruiqing and {Coria}, Juan Manuel and {Gelly}, Gregory and {Korshunov}, Pavel and {Lavechin}, Marvin and {Fustes}, Diego and {Titeux}, Hadrien and {Bouaziz}, Wassim and {Gill}, Marie-Philippe},
  Booktitle = {ICASSP 2020, IEEE International Conference on Acoustics, Speech, and Signal Processing},
  Address = {Barcelona, Spain},
  Month = {May},
  Year = {2020},
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели pyannote требуют отдельного рантайма.

Ревизия весов
8f0b792

0 моделей