/ Модель

Характеристики

Лицензия
CC BY-SA 4.0

ConvTasNet_WHAMR_enhsingle_16k

Обработка аудиоАудио → аудио3 профессии

ConvTasNet, дообученная на зашумлённой и реверберирующей речи, предназначена для улучшения одиночных речевых записей.

41скачиваний за 30 дней2лайкавеса обновлены17 фев 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ConvTasNet_WHAMR_enhsingle_16k — модель разделения и улучшения аудио, дообученная М. Каном Келесом на варианте WHAMR! с речью из аудиокниг и искусственно добавленной реверберацией. Она обучалась для задачи enh_single и предназначена для очистки одиночной речевой записи, в том числе с реверберацией. Модель использует архитектуру ConvTasNet и библиотеку Asteroid; веса представлены в формате PyTorch.

В карточке приведены метрики качества на тестировании, включая SI-SDR 12,98 и STOI 0,92. Модель распространяется по лицензии CC BY-SA 4.0. Параметры и ограничения применения за пределами описанного сценария в карточке не уточнены.

Сценарии применения

  • очистка речи из аудиокниг от реверберации
  • улучшение качества одиночной речевой записи
  • подготовка речи для последующего распознавания

Ограничения

Обучение описано для одиночной речи с искусственной реверберацией на данных WHAMR!; качество на других типах сигналов не установлено. В карточке не приведены сведения о размере модели и требованиях к входному аудио.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Asteroid model cankeles/ConvTasNet_WHAMR_enhsingle_16k

Description:

This model was fine tuned on a modified version of WHAMR! where the speakers were taken from audiobook recordings and reverb was added by Pedalboard, Spotify.

The initial model was taken from here: https://huggingface.co/JorisCos/ConvTasNet_Libri1Mix_enhsingle_16k

This model was trained by M. Can Keles using the WHAM recipe in Asteroid. It was trained on the enh_single task of the WHAM dataset.

Training config:

data:
  mode: min
  nondefault_nsrc: null
  sample_rate: 16000
  task: enh_single
  train_dir: wav16k/min/tr/
  valid_dir: wav16k/min/cv/
filterbank:
  kernel_size: 16
  n_filters: 512
  stride: 8
main_args:
  exp_dir: exp/tmp
  help: null
masknet:
  bn_chan: 128
  hid_chan: 512
  mask_act: relu
  n_blocks: 8
  n_repeats: 3
  n_src: 1
  skip_chan: 128
optim:
  lr: 0.001
  optimizer: adam
  weight_decay: 0.0
positional arguments: {}
training:
  batch_size: 2
  early_stop: true
  epochs: 10
  half_lr: true
  num_workers: 4

Results:

 'sar': 13.612368475881558,
 'sar_imp': 9.709316571584433,
 'sdr': 13.612368475881558,
 'sdr_imp': 9.709316571584433,
 'si_sdr': 12.978640274976373,
 'si_sdr_imp': 9.161273840297232,
 'sir': inf,
 'sir_imp': nan,
 'stoi': 0.9214516928197306,
 'stoi_imp': 0.11657488247668318

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
f47048a

0 моделей