/ Модель

Характеристики

Лицензия
CC BY-SA 4.0

ConvTasNet_Libri2Mix_sepclean_8k

Обработка аудиоАудио → аудио3 профессии

Модель ConvTasNet разделяет аудиозапись с двумя говорящими на отдельные речевые сигналы и рассчитана на данные с частотой 8 кГц.

253скачиваний за 30 дней1лайквеса обновлены23 сен 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ConvTasNet_Libri2Mix_sepclean_8k — модель разделения аудиосмеси, обученная Joris Cosentino с помощью рецепта LibriMix в Asteroid и опубликованная как импорт с Zenodo. Она предназначена для разделения записи с двумя одновременно говорящими людьми на отдельные речевые сигналы.

Модель обучалась для задачи sep_clean на Libri2Mix с частотой дискретизации 8 кГц. Архитектура ConvTasNet использует обучаемый фильтробанк и масочную сеть; в конфигурации указаны 512 фильтров, 8 блоков и 3 повтора. Веса доступны в формате PyTorch. Лицензия в метаданных — CC BY-SA 4.0; README также содержит лицензионное уведомление CC BY-SA 3.0 и упоминает производность от корпуса LibriSpeech, поэтому при использовании следует учитывать оба уведомления.

Сценарии применения

  • разделение речи двух собеседников в смешанной записи
  • выделение одного говорящего из записи с двумя голосами
  • подготовка отдельных речевых дорожек для анализа аудио

Ограничения

Модель обучена для двух источников на задаче sep_clean набора Libri2Mix при частоте 8 кГц; качество на других условиях записи и числе говорящих не подтверждено. В описании упомянуты результаты тестирования, но сами значения опущены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Asteroid model JorisCos/ConvTasNet_Libri2Mix_sepclean_8k

Imported from Zenodo

Description:

This model was trained by Joris Cosentino using the librimix recipe in Asteroid. It was trained on the sep_clean task of the Libri2Mix dataset.

Training config:

data:
    n_src: 2
    sample_rate: 8000
    segment: 3
    task: sep_clean
    train_dir: data/wav8k/min/train-360
    valid_dir: data/wav8k/min/dev
filterbank:
    kernel_size: 16
    n_filters: 512
    stride: 8
masknet:
    bn_chan: 128
    hid_chan: 512
    mask_act: relu
    n_blocks: 8
    n_repeats: 3
    skip_chan: 128
optim:
    lr: 0.001
    optimizer: adam
    weight_decay: 0.0
training:
    batch_size: 24
    early_stop: True
    epochs: 200
    half_lr: True
    num_workers: 2

Results :

On Libri2Mix min test set :

si_sdr: 14.764543634468069
si_sdr_imp: 14.764029375607246
sdr: 15.29337970745095
sdr_imp: 15.114146605113111
sir: 24.092904661115366
sir_imp: 23.913669683141528
sar: 16.06055906916849
sar_imp: -51.980784441287454
stoi: 0.9311142440593033
stoi_imp: 0.21817376142710482

License notice:

This work "ConvTasNet_Libri2Mix_sepclean_8k" is a derivative of LibriSpeech ASR corpus by Vassil Panayotov, used under CC BY 4.0. "ConvTasNet_Libri2Mix_sepclean_8k" is licensed under Attribution-ShareAlike 3.0 Unported by Cosentino Joris.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
fe2524d

0 моделей