Характеристики

Лицензия: CC BY-SA 4.0

Ссылки

Hugging Face

ConvTasNet_Libri3Mix_sepnoisy_16k

JorisCos

Обработка аудиоАудио → аудио

ConvTasNet разделяет зашумлённый аудиомикс с тремя говорящими на отдельные речевые источники.

118скачиваний за 30 дней1лайквеса обновлены23 сен 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ConvTasNet-модель, обученная Joris Cosentino с использованием рецепта LibriMix в Asteroid. Она предназначена для разделения трёх источников речи в зашумлённом аудиомиксе Libri3Mix. Модель принимает аудио с частотой дискретизации 16 кГц; конфигурация обучения использует сегменты длительностью 3 секунды и ConvTasNet с масочной сетью из 8 блоков в 3 повторах.

Модель подходит для разделения смешанной речи на отдельные речевые дорожки в условиях шума. README не приводит численные результаты тестирования, поэтому качество на других данных по нему оценить нельзя. Лицензия модели — CC BY-SA 3.0 Unported; карточка также указывает CC BY-SA 4.0, а README отмечает лицензии исходных данных LibriSpeech и WSJ0 Hipster Ambient Mixtures.

Сценарии применения

разделение речи трёх говорящих в зашумлённой записи
извлечение отдельных речевых дорожек из смешанного аудио
разделение аудио Libri3Mix с частотой 16 кГц

Ограничения

Обучение ориентировано на зашумлённые смеси Libri3Mix с тремя источниками и частотой 16 кГц; переносимость на другие условия и число говорящих не подтверждена приведёнными данными. README не содержит численных результатов тестирования.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Asteroid model `JorisCos/ConvTasNet_Libri3Mix_sepnoisy_16k`

Description:

This model was trained by Joris Cosentino using the librimix recipe in Asteroid. It was trained on the sep_noisy task of the Libri3Mix dataset.

Training config:

data:
  n_src: 3
  sample_rate: 16000
  segment: 3
  task: sep_noisy
  train_dir: data/wav16k/min/train-360
  valid_dir: data/wav16k/min/dev
filterbank:
  kernel_size: 32
  n_filters: 512
  stride: 16
masknet:
  bn_chan: 128
  hid_chan: 512
  mask_act: relu
  n_blocks: 8
  n_repeats: 3
  n_src: 3
  skip_chan: 128
optim:
  lr: 0.001
  optimizer: adam
  weight_decay: 0.0
training:
  batch_size: 8
  early_stop: true
  epochs: 200
  half_lr: true
  num_workers: 4

Results:

On Libri3Mix min test set :

si_sdr: 5.926151147554517
si_sdr_imp: 10.282912158535625
sdr: 6.700975236867358
sdr_imp: 10.882972447337504
sir: 15.364110064569388
sir_imp: 18.574476587171688
sar: 7.918866830474568
sar_imp: -0.9638973409971135
stoi: 0.7713777027310713
stoi_imp: 0.2078696167973911

License notice:

This work "ConvTasNet_Libri3Mix_sepnoisy_16k" is a derivative of LibriSpeech ASR corpus by Vassil Panayotov, used under CC BY 4.0; of The WSJ0 Hipster Ambient Mixtures dataset by Whisper.ai, used under CC BY-NC 4.0. "ConvTasNet_Libri3Mix_sepnoisy_16k" is licensed under Attribution-ShareAlike 3.0 Unported by Joris Cosentino

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов: e3a9f9b