/ Модель

Характеристики

Лицензия
CC BY-SA 4.0
Опубликована
2 апр 2022

Audio_Source_Separation

Обработка аудиоАудио → аудио3 профессии

ConvTasNet-модель для разделения смешанной речи на два аудиоисточника.

6скачиваний за 30 дней22лайкавеса обновлены3 апр 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель разделения аудио Awais/Audio_Source_Separation обучена Joris Cosentino с помощью Asteroid по рецепту Libri2Mix. Она предназначена для разделения смешанной записи речи на два источника в задаче sep_clean; обучение проводилось на аудио с частотой дискретизации 8 кГц. Архитектура основана на ConvTasNet и использует PyTorch.

Модель подходит для выделения двух говорящих из смешанной речи, например, при обработке аудиозаписей разговоров. Она обучена на Libri2Mix, сформированном на основе LibriSpeech. Лицензия модели — CC BY-SA 4.0; в README также приведено уведомление о производной работе с лицензией CC BY 3.0 Unported.

Сценарии применения

  • разделение записи с двумя говорящими на отдельные дорожки
  • выделение речи одного говорящего из наложенной речи
  • подготовка разделённых речевых дорожек для последующей обработки

Ограничения

Обучена для разделения двух источников в задаче sep_clean на Libri2Mix с частотой дискретизации 8 кГц; качество на других типах аудио не подтверждено.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Asteroid model Awais/Audio_Source_Separation

Imported from Zenodo

Description:

This model was trained by Joris Cosentino using the librimix recipe in Asteroid. It was trained on the sep_clean task of the Libri2Mix dataset.

Training config:

data:
    n_src: 2
    sample_rate: 8000
    segment: 3
    task: sep_clean
    train_dir: data/wav8k/min/train-360
    valid_dir: data/wav8k/min/dev
filterbank:
    kernel_size: 16
    n_filters: 512
    stride: 8
masknet:
    bn_chan: 128
    hid_chan: 512
    mask_act: relu
    n_blocks: 8
    n_repeats: 3
    skip_chan: 128
optim:
    lr: 0.001
    optimizer: adam
    weight_decay: 0.0
training:
    batch_size: 24
    early_stop: True
    epochs: 200
    half_lr: True
    num_workers: 2

Results :

On Libri2Mix min test set :

si_sdr: 14.764543634468069
si_sdr_imp: 14.764029375607246
sdr: 15.29337970745095
sdr_imp: 15.114146605113111
sir: 24.092904661115366
sir_imp: 23.913669683141528
sar: 16.06055906916849
sar_imp: -51.980784441287454
stoi: 0.9311142440593033
stoi_imp: 0.21817376142710482

License notice:

This work "ConvTasNet_Libri2Mix_sepclean_8k" is a derivative of LibriSpeech ASR corpus by Vassil Panayotov, used under CC BY 4.0. "ConvTasNet_Libri2Mix_sepclean_8k" is licensed under Attribution-ShareAlike 3.0 Unported by Cosentino Joris.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
043c6dc

0 моделей