/ Модель

Характеристики

Лицензия
CC BY-SA 4.0

ConvTasNet_Libri3Mix_sepclean_16k

Обработка аудиоАудио → аудио3 профессии

ConvTasNet, обученная на Libri3Mix, разделяет смешанную речь нескольких говорящих на отдельные аудиосигналы.

264скачиваний за 30 дней0лайковвеса обновлены23 сен 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ConvTasNet_Libri3Mix_sepclean_16k — модель разделения речи, обученная Joris Cosentino с помощью рецепта LibriMix в Asteroid на задаче sep_clean датасета Libri3Mix. Она принимает аудиозапись с несколькими говорящими и предназначена для разделения их голосов на отдельные аудиосигналы. В тесте Libri3Mix min модель показала SI-SDR 8,93 дБ и STOI 0,848.

Модель относится к семейству ConvTasNet и опубликована в формате PyTorch. Лицензия репозитория указана как CC BY-SA 4.0; в README работа обозначена как производная от корпуса LibriSpeech и лицензирована CC BY-SA 3.0. При использовании следует учитывать условия лицензирования исходных материалов и модели. Результаты приведены для Libri3Mix, поэтому качество на других наборах данных или в реальных акустических условиях может отличаться.

Сценарии применения

  • разделение голосов нескольких говорящих в аудиозаписи
  • подготовка отдельных речевых дорожек из смешанной записи
  • эксперименты с разделением речи на Libri3Mix
  • предварительная обработка многоголосых аудиозаписей

Ограничения

Оценки качества получены на тестовой выборке Libri3Mix min; качество в других условиях не установлено. README указывает разные варианты лицензии: метаданные — CC BY-SA 4.0, а текст карточки — CC BY-SA 3.0.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Asteroid model JorisCos/ConvTasNet_Libri3Mix_sepclean_16k

Description:

This model was trained by Joris Cosentino using the librimix recipe in Asteroid. It was trained on the sep_clean task of the Libri3Mix dataset.

Training config:

data:
    n_src: 3
    sample_rate: 16000
    segment: 3
    task: sep_clean
    train_dir: data/wav16k/min/train-360
    valid_dir: data/wav16k/min/dev
filterbank:
    kernel_size: 32
    n_filters: 512
    stride: 16
masknet:
    bn_chan: 128
    hid_chan: 512
    mask_act: relu
    n_blocks: 8
    n_repeats: 3
    n_src: 3
    skip_chan: 128
optim:
    lr: 0.001
    optimizer: adam
    weight_decay: 0.0
training:
    batch_size: 8
    early_stop: true
    epochs: 200
    half_lr: true
    num_workers: 4

Results :

On Libri3Mix min test set :

si_sdr: 8.932601610824145
si_sdr_imp: 12.299341066588594
sdr: 9.557260814240447
sdr_imp: 12.76957128385349
sir: 17.387646884037455
sir_imp: 20.599955591768484
sar: 10.686885056960504
sar_imp: -55.8894643263213
stoi: 0.8481258332025354
stoi_imp: 0.25528367853750356

License notice:

This work "ConvTasNet_Libri3Mix_sepclean_16k" is a derivative of LibriSpeech ASR corpus by Vassil Panayotov, used under CC BY 4.0. "ConvTasNet_Libri3Mix_sepclean_16k" is licensed under Attribution-ShareAlike 3.0 Unported by Cosentino Joris.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
4d2ee43

0 моделей