/ Модель

Характеристики

Лицензия
CC BY-SA 4.0

ConvTasNet_WHAM_sepclean

Обработка аудиоАудио → аудио3 профессии

ConvTasNet, обученная на WHAM! для разделения смешанной речи на отдельные аудиопотоки.

262скачиваний за 30 дней0лайковвеса обновлены4 ноя 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это модель разделения аудио ConvTasNet, обученная Мануэлем Париенте по рецепту Asteroid для задачи sep_clean на наборе WHAM!. Она предназначена для разделения смеси речи на отдельные речевые источники и обработки аудиозаписей с несколькими говорящими.

Модель принимает аудио и выдаёт аудио. В README приведены результаты оценки на WHAM!, включая SI-SDR 16,21 и STOI 0,962. Весовой файл опубликован в формате PyTorch; лицензия — CC BY-SA 4.0.

Сценарии применения

  • разделение голосов нескольких говорящих в аудиозаписи
  • выделение речевого источника из смеси голосов
  • подготовка чистых речевых дорожек для дальнейшей обработки

Ограничения

Результаты приведены для задачи sep_clean набора WHAM!; качество на иных типах аудио не описано. README не уточняет число входных каналов или параметры сегментации.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Asteroid model mpariente/ConvTasNet_WHAM_sepclean

Imported from Zenodo

Description:

This model was trained by Manuel Pariente using the wham/ConvTasNet recipe in Asteroid. It was trained on the sep_clean task of the WHAM! dataset.

Training config:

data:
    n_src: 2
    mode: min
    nondefault_nsrc: None
    sample_rate: 8000
    segment: 3
    task: sep_clean
    train_dir: data/wav8k/min/tr/
    valid_dir: data/wav8k/min/cv/
filterbank:
    kernel_size: 16
    n_filters: 512
    stride: 8
main_args:
    exp_dir: exp/wham
    gpus: -1
    help: None
masknet:
    bn_chan: 128
    hid_chan: 512
    mask_act: relu
    n_blocks: 8
    n_repeats: 3
    n_src: 2
    skip_chan: 128
optim:
    lr: 0.001
    optimizer: adam
    weight_decay: 0.0
positional arguments:
training:
    batch_size: 24
    early_stop: True
    epochs: 200
    half_lr: True
    num_workers: 4

Results:

si_sdr: 16.21326632846293
si_sdr_imp: 16.21441705664987
sdr: 16.615180021738933
sdr_imp: 16.464137807433435
sir: 26.860503975131923
sir_imp: 26.709461760826414
sar: 17.18312813480803
sar_imp: -131.99332048277296
stoi: 0.9619940905157323
stoi_imp: 0.2239480672473015

License notice:

This work "ConvTasNet_WHAM!_sepclean" is a derivative of CSR-I (WSJ0) Complete by LDC, used under LDC User Agreement for Non-Members (Research only). "ConvTasNet_WHAM!_sepclean" is licensed under Attribution-ShareAlike 3.0 Unported by Manuel Pariente.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
ba1593b

0 моделей