Характеристики

Лицензия: CC BY-SA 4.0

Ссылки

Hugging Face

ConvTasNet_Libri2Mix_sepclean_16k

JorisCos

Обработка аудиоАудио → аудио3 профессии

ConvTasNet Joris Cosentino разделяет аудиосмесь двух голосов на отдельные речевые дорожки.

2 436скачиваний за 30 дней5лайковвеса обновлены23 сен 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ConvTasNet для разделения двух одновременно звучащих голосов, обученная Joris Cosentino с помощью рецепта LibriMix в Asteroid на задаче sep_clean датасета Libri2Mix. Модель принимает аудио с частотой дискретизации 16 кГц и формирует отдельные аудиодорожки для двух источников. Архитектура ConvTasNet использует обучаемый фильтробанк и масочную сеть; обучающие сегменты имели длину 3 секунды.

Модель предназначена для разделения чистых речевых смесей, похожих на данные Libri2Mix. Карточка приводит результат на тестовом наборе Libri2Mix, но численное значение результата недоступно в представленном тексте. Модель распространяется по лицензии CC BY-SA 3.0 Unported; в обучении использовался корпус LibriSpeech, лицензированный CC BY 4.0.

Сценарии применения

разделение записи двух одновременно говорящих людей
выделение отдельных голосов из чистой речевой смеси
подготовка речевых дорожек для дальнейшей обработки

Ограничения

Обучена на задаче sep_clean датасета Libri2Mix и предназначена для разделения двух источников; качество на иных типах аудио карточкой не охарактеризовано.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.9Универсальные способностиАудио и музыкаAI помогает анализировать, очищать, преобразовывать и создавать звук и музыку.15 задач4 835моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Asteroid model `JorisCos/ConvTasNet_Libri2Mix_sepclean_16k`

Description:

This model was trained by Joris Cosentino using the librimix recipe in Asteroid. It was trained on the sep_clean task of the Libri2Mix dataset.

Training config:

data:
    n_src: 2
    sample_rate: 16000
    segment: 3
    task: sep_clean
    train_dir: data/wav16k/min/train-360
    valid_dir: data/wav16k/min/dev
filterbank:
    kernel_size: 32
    n_filters: 512
    stride: 16
masknet:
    bn_chan: 128
    hid_chan: 512
    mask_act: relu
    n_blocks: 8
    n_repeats: 3
    skip_chan: 128
optim:
    lr: 0.001
    optimizer: adam
    weight_decay: 0.0
training:
    batch_size: 6
    early_stop: true
    epochs: 200
    half_lr: true
    num_workers: 4

Results :

On Libri2Mix min test set :

si_sdr: 15.243671356901526
si_sdr_imp: 15.243034178473609
sdr: 15.668108919568112
sdr_imp: 15.578229918028036
sir: 25.295100756629957
sir_imp: 25.205219921301754
sar: 16.307682590197313
sar_imp: -51.64989963759405
stoi: 0.9394951175291422
stoi_imp: 0.22640192740016568

License notice:

This work "ConvTasNet_Libri2Mix_sepclean_16k" is a derivative of LibriSpeech ASR corpus by Vassil Panayotov, used under CC BY 4.0. "ConvTasNet_Libri2Mix_sepclean_16k" is licensed under Attribution-ShareAlike 3.0 Unported by Cosentino Joris.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов: e1ef95a