/ Модель

Характеристики

Размер весов
28,3 МБ
Лицензия
Своя лицензия
Библиотека
pyannote-audio
Опубликована
27 авг 2024

reverb-diarization-v1

Распознавание речиАудио → текст7 профессий

Модель Rev AI на базе pyannote-audio размечает аудиозапись по говорящим и времени речи.

51скачиваний за 30 дней13лайковвеса обновлены10 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Rev AI Reverb Diarization V1 — модель на базе pyannote-audio для диаризации речи в аудиозаписях: она определяет, кто и когда говорит. По данным карточки, модель улучшает относительную Word Diarization Error Rate на 16,5% по сравнению с базовой pyannote 3.0; оценка проводилась на более чем 1,25 млн токенов в пяти тестовых наборах. Для запуска используется Pipeline из pyannote.audio и аудиофайл.

Модель распространяется в формате PyTorch; лицензия обозначена как other, поэтому условия использования следует уточнить в карточке Hugging Face. Указанные в README значения WDER относятся к наборам earnings21 и rev16; других характеристик качества и поддерживаемых языков карточка не приводит.

Сценарии применения

  • разделение реплик разных говорящих в аудиозаписи
  • диаризация записей совещаний и интервью
  • разметка говорящих в записях телефонных разговоров

Ограничения

В README приведены результаты лишь для двух тестовых наборов, а сведения о поддерживаемых языках отсутствуют. Лицензия помечена как other, поэтому перед использованием нужно проверить её условия.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Details on the model, it's performance, and more available on Arxiv. For more information on how to run this diarization model see https://github.com/revdotcom/reverb/tree/main/diarization.

Reverb diarization V1 provides a 16.5% relative improvement in WDER (Word Diarization Error Rate) compared to the baseline pyannote3.0 model, evaluated on over 1,250,000 tokens across five different test suites.

Test suiteWDER
earnings210.047
rev160.077

Usage

# taken from https://huggingface.co/pyannote/speaker-diarization-3.1 - see for more details
# instantiate the pipeline
from pyannote.audio import Pipeline
pipeline = Pipeline.from_pretrained(
  "Revai/reverb-diarization-v1",
  use_auth_token="HUGGINGFACE_ACCESS_TOKEN_GOES_HERE")

# run the pipeline on an audio file
diarization = pipeline("audio.wav")

# dump the diarization output to disk using RTTM format
with open("audio.rttm", "w") as rttm:
    diarization.write_rttm(rttm)

Cite this Model

If you use this model please use the following citation:

@misc{bhandari2024reverbopensourceasrdiarization,
      title={Reverb: Open-Source ASR and Diarization from Rev}, 
      author={Nishchal Bhandari and Danny Chen and Miguel Ángel del Río Fernández and Natalie Delworth and Jennifer Drexler Fox and Migüel Jetté and Quinten McNamara and Corey Miller and Ondřej Novotný and Ján Profant and Nan Qin and Martin Ratajczak and Jean-Philippe Robichaud},
      year={2024},
      eprint={2410.03930},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2410.03930}, 
}

License

See LICENSE for details.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pyannote-audio

Нельзя запустить

Модели pyannote требуют отдельного рантайма.

Ревизия весов
4ad4567

0 моделей