/ Модель

Характеристики

Лицензия
CC BY-SA 4.0

ConvTasNet_Libri3Mix_sepclean_8k

Обработка аудиоАудио → аудио3 профессии

ConvTasNet разделяет смесь речи трёх говорящих на отдельные аудиодорожки и рассчитана на звук с частотой 8 кГц.

159скачиваний за 30 дней0лайковвеса обновлены23 сен 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ConvTasNet — модель разделения аудио, обученная Joris Cosentino с использованием рецепта LibriMix в Asteroid. Она предназначена для разделения смеси речи трёх говорящих на отдельные аудиодорожки и обучена для задачи sep_clean на наборе Libri3Mix.

Модель принимает звук с частотой дискретизации 8 кГц и рассчитана на три источника. В конфигурации указаны фильтробанк с 512 фильтрами, масочная сеть с 8 блоками и 3 повторениями. Модель пригодится для экспериментов и обработки смешанной речи; данные о качестве на тестовом наборе в доступном README опущены. Репозиторий распространяется по лицензии CC BY-SA 4.0; README также указывает лицензию CC BY 3.0 для этой работы и CC BY 4.0 для исходного корпуса LibriSpeech.

Сценарии применения

  • разделение записи с тремя одновременно говорящими людьми
  • выделение отдельных голосов из смешанной речи
  • предварительная обработка многоголосых аудиозаписей

Ограничения

Модель обучена для разделения ровно трёх источников на данных Libri3Mix sep_clean при частоте 8 кГц; качество на иных условиях не охарактеризовано в доступном README.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Asteroid model JorisCos/ConvTasNet_Libri3Mix_sepclean_8k

Description:

This model was trained by Joris Cosentino using the librimix recipe in Asteroid. It was trained on the sep_clean task of the Libri3Mix dataset.

Training config:

data:
    n_src: 3
    sample_rate: 8000
    segment: 3
    task: sep_clean
    train_dir: data/wav8k/min/train-360
    valid_dir: data/wav8k/min/dev
filterbank:
    kernel_size: 16
    n_filters: 512
    stride: 8
masknet:
    bn_chan: 128
    hid_chan: 512
    mask_act: relu
    n_blocks: 8
    n_repeats: 3
    n_src: 3
    skip_chan: 128
optim:
    lr: 0.001
    optimizer: adam
    weight_decay: 0.0
training:
  batch_size: 24
  early_stop: true
  epochs: 200
  half_lr: true
  num_workers: 4

Results :

On Libri3Mix min test set :

si_sdr: 8.581797049575108
si_sdr_imp: 11.977037288467368
sdr' 9.305885208641385
sdr_imp: 12.3943409734845
sir: 16.42030534048559
sir_imp: 19.508759460400984
sar: 10.641943911079238
sar_imp: -56.4345187842095
stoi: 0.8365148408724333
stoi_imp: 0.24401766199806396

License notice:

This work "ConvTasNet_Libri3Mix_sepclean_8k" is a derivative of LibriSpeech ASR corpus by Vassil Panayotov, used under CC BY 4.0. "ConvTasNet_Libri3Mix_sepclean_8k" is licensed under Attribution-ShareAlike 3.0 Unported by Cosentino Joris.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
d3182db

0 моделей