/ Модель

Характеристики

Лицензия
CC BY-SA 4.0

ConvTasNet_Libri1Mix_enhsingle_16k

Обработка аудиоАудио → аудио3 профессии

ConvTasNet, дообученная на Libri1Mix для улучшения одноканальной речи в аудиозаписях.

430скачиваний за 30 дней4лайкавеса обновлены23 сен 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ConvTasNet_Libri1Mix_enhsingle_16k — модель Joris Cosentino, обученная с помощью рецепта LibriMix в Asteroid для улучшения одноканальной речи. Она предназначена для обработки аудио: принимает речевой сигнал и выдаёт его улучшенную версию. Модель обучена на задаче enh_single датасета Libri1Mix, использует частоту дискретизации 16 кГц и рассчитана на один источник звука.

Конфигурация указывает на архитектуру ConvTasNet с фильтробанком из 512 фильтров и масочной сетью с восемью блоками и тремя повторами. Заявленная лицензия репозитория — CC BY-SA 4.0; в README для работы указана лицензия CC BY 4.0, а для смесей WSJ0 Hipster Ambient — CC BY-NC 4.0 с ограничением для исследовательского использования. Перед применением следует учитывать условия лицензирования исходных данных и производной модели.

Сценарии применения

  • улучшение разборчивости речи в аудиозаписях
  • подавление шумов в одноканальной речи
  • очистка речевых сигналов перед распознаванием речи

Ограничения

Модель обучена на Libri1Mix для одноканальной речи с частотой 16 кГц, поэтому качество на иных типах аудио и условиях записи не подтверждено. Использование зависит от соблюдения лицензий модели и исходных датасетов, включая исследовательское ограничение для WSJ0 Hipster Ambient.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Asteroid model JorisCos/ConvTasNet_Libri1Mix_enhsignle_16k

Description:

This model was trained by Joris Cosentino using the librimix recipe in Asteroid. It was trained on the enh_single task of the Libri1Mix dataset.

Training config:

data:
  n_src: 1
  sample_rate: 16000
  segment: 3
  task: enh_single
  train_dir: data/wav16k/min/train-360
  valid_dir: data/wav16k/min/dev
filterbank:
  kernel_size: 32
  n_filters: 512
  stride: 16
masknet:
  bn_chan: 128
  hid_chan: 512
  mask_act: relu
  n_blocks: 8
  n_repeats: 3
  n_src: 1
  skip_chan: 128
optim:
  lr: 0.001
  optimizer: adam
  weight_decay: 0.0
training:
  batch_size: 6
  early_stop: true
  epochs: 200
  half_lr: true
  num_workers: 4

Results:

On Libri1Mix min test set :

si_sdr: 14.743051006476085
si_sdr_imp: 11.293269700616385
sdr: 15.300522933671061
sdr_imp: 11.797860134458015
sir: Infinity
sir_imp: NaN
sar: 15.300522933671061
sar_imp: 11.797860134458015
stoi: 0.9310514162434267
stoi_imp: 0.13513159270288563

License notice:

This work "ConvTasNet_Libri1Mix_enhsignle_16k" is a derivative of LibriSpeech ASR corpus by Vassil Panayotov, used under CC BY 4.0; of The WSJ0 Hipster Ambient Mixtures dataset by Whisper.ai, used under CC BY-NC 4.0 (Research only). "ConvTasNet_Libri1Mix_enhsignle_16k" is licensed under Attribution-ShareAlike 3.0 Unported by Joris Cosentino

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
bb8a876

0 моделей