Характеристики

Лицензия: CC BY-SA 4.0

Ссылки

Hugging Face

ConvTasNet_Libri2Mix_sepnoisy_16k

JorisCos

Обработка аудиоАудио → аудио3 профессии

ConvTasNet, обученная на шумных смесях Libri2Mix для разделения речи на отдельные аудиосигналы.

550скачиваний за 30 дней1лайквеса обновлены23 сен 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ConvTasNet-модель, обученная Joris Cosentino с использованием рецепта LibriMix в Asteroid на задаче sep_noisy датасета Libri2Mix. Она предназначена для разделения смешанной шумной аудиозаписи на отдельные речевые сигналы и подходит для очистки и разделения речи в аудиомиксах. В тестовом наборе Libri2Mix min указаны SI-SDR 10,62 дБ, SI-SDR improvement 12,55 дБ и STOI 0,87.

Модель принимает аудио и выдаёт аудио; в репозитории указаны веса PyTorch. Лицензия модели — CC BY-SA 4.0. README также указывает, что использованные данные включают LibriSpeech по CC BY 4.0 и WSJ0 Hipster Ambient Mixtures по CC BY-NC 4.0 с ограничением «только для исследований», что может ограничивать допустимые сценарии использования.

Сценарии применения

разделение нескольких голосов в шумной записи
выделение речевых дорожек из аудиомикса
очистка смешанной речи от фонового шума
подготовка раздельных речевых сигналов для последующей обработки

Ограничения

Обучение ориентировано на шумные смеси Libri2Mix, поэтому качество на других типах аудио может отличаться. В состав обучающих данных входит WSJ0 Hipster Ambient Mixtures с лицензией CC BY-NC 4.0, ограниченной исследовательским использованием.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.9Универсальные способностиАудио и музыкаAI помогает анализировать, очищать, преобразовывать и создавать звук и музыку.15 задач4 835моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Asteroid model `JorisCos/ConvTasNet_Libri2Mix_sepnoisy_16k`

Description:

This model was trained by Joris Cosentino using the librimix recipe in Asteroid. It was trained on the sep_noisy task of the Libri2Mix dataset.

Training config:

data:
    n_src: 2
    sample_rate: 16000
    segment: 3
    task: sep_noisy
    train_dir: data/wav16k/min/train-360
    valid_dir: data/wav16k/min/dev
filterbank:
    kernel_size: 32
    n_filters: 512
    stride: 16
masknet:
    bn_chan: 128
    hid_chan: 512
    mask_act: relu
    n_blocks: 8
    n_repeats: 3
    n_src: 2
    skip_chan: 128
optim:
    lr: 0.001
    optimizer: adam
    weight_decay: 0.0
training:
    batch_size: 6
    early_stop: true
    epochs: 200
    half_lr: true
    num_workers: 4

Results:

On Libri2Mix min test set :

si_sdr: 10.617130949793383
si_sdr_imp: 12.551811412989263
sdr: 11.231867464482065
sdr_imp: 13.059765009747343
sir: 24.461138352988346
sir_imp: 24.371856452307703
sar: 11.5649982725426
sar_imp: 4.662525705768228
stoi: 0.8701085138712695
stoi_imp: 0.2245418019822898

License notice:

This work "ConvTasNet_Libri2Mix_sepnoisy_16k" is a derivative of LibriSpeech ASR corpus by Vassil Panayotov, used underCC BY 4.0; of The WSJ0 Hipster Ambient Mixtures dataset by Whisper.ai, used under CC BY-NC 4.0 (Research only). "ConvTasNet_Libri2Mix_sepnoisy_16k" is licensed under Attribution-ShareAlike 3.0 Unported by Joris Cosentino

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов: 98b76c8