Характеристики

Лицензия: CC BY-SA 4.0

Ссылки

Hugging Face

DPRNNTasNet-ks2_WHAM_sepclean

mpariente

Обработка аудиоАудио → аудио3 профессии

Модель Asteroid на базе DPRNNTasNet для разделения аудиосигнала, обученная на задаче sep_clean набора WHAM!.

1 024скачиваний за 30 дней9лайковвеса обновлены23 сен 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

DPRNNTasNet-ks2_WHAM_sepclean — модель разделения аудиосигнала, обученная Мануэлем Париенте по рецепту DPRNN в библиотеке Asteroid. Она предназначена для задачи sep_clean на наборе данных WHAM! и принимает аудио, выдавая разделённые аудиодорожки. В карточке приведены результаты оценки, включая SI-SDR 19,32 дБ и STOI 0,978.

Модель представлена в формате PyTorch и распространяется по лицензии CC BY-SA 4.0. Карточка не сообщает размер модели, длину контекста или конкретные языки; задача разделения аудио не требует текстового ввода.

Сценарии применения

разделение аудиозаписи на источники
очистка целевой речевой дорожки от помех
эксперименты с разделением аудио на данных WHAM!

Ограничения

Обучение и описание ориентированы на задачу sep_clean и данные WHAM!, поэтому качество на других типах аудио может отличаться. Карточка не уточняет число выходных источников и дополнительные условия инференса.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Asteroid model `mpariente/DPRNNTasNet-ks2_WHAM_sepclean`

Imported from Zenodo

Description:

This model was trained by Manuel Pariente using the wham/DPRNN recipe in Asteroid. It was trained on the sep_clean task of the WHAM! dataset.

Training config:

data:
    mode: min
    nondefault_nsrc: None
    sample_rate: 8000
    segment: 2.0
    task: sep_clean
    train_dir: data/wav8k/min/tr
    valid_dir: data/wav8k/min/cv
filterbank:
    kernel_size: 2
    n_filters: 64
    stride: 1
main_args:
    exp_dir: exp/train_dprnn_new/
    gpus: -1
    help: None
masknet:
    bidirectional: True
    bn_chan: 128
    chunk_size: 250
    dropout: 0
    hid_size: 128
    hop_size: 125
    in_chan: 64
    mask_act: sigmoid
    n_repeats: 6
    n_src: 2
    out_chan: 64
optim:
    lr: 0.001
    optimizer: adam
    weight_decay: 1e-05
positional arguments:
training:
    batch_size: 3
    early_stop: True
    epochs: 200
    gradient_clipping: 5
    half_lr: True
    num_workers: 8

Results:

si_sdr: 19.316743490695334
si_sdr_imp: 19.317895273889842
sdr: 19.68085347190952
sdr_imp: 19.5298092932871
sir: 30.362213998701232
sir_imp: 30.21116982007881
sar: 20.15553251343315
sar_imp: -129.02091762351188
stoi: 0.97772664309074
stoi_imp: 0.23968091518217424

License notice:

This work "DPRNNTasNet-ks2_WHAM_sepclean" is a derivative of CSR-I (WSJ0) Complete by LDC, used under LDC User Agreement for Non-Members (Research only). "DPRNNTasNet-ks2_WHAM_sepclean" is licensed under Attribution-ShareAlike 3.0 Unported by Manuel Pariente.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов: 548f4f1