/ Модель

Характеристики

Лицензия
CC BY-SA 4.0

DCCRNet_Libri1Mix_enhsingle_16k

Обработка аудиоАудио → аудио3 профессии

Модель DCCRN-CL очищает речь в аудиозаписях, обучаясь выделять один речевой источник из смеси на данных Libri1Mix.

1 387скачиваний за 30 дней19лайковвеса обновлены23 сен 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

DCCRNet_Libri1Mix_enhsingle_16k — модель для улучшения речи, обученная Joris Cosentino с помощью рецепта LibriMix в библиотеке Asteroid. Она принимает аудио и предназначена для выделения чистой речи из одноисточниковой смеси с шумом или помехами. Модель использует архитектуру DCCRN-CL и рассчитана на аудио с частотой дискретизации 16 кГц; обучение проводилось на задаче enh_single с данными Libri1Mix.

Модель подходит для предварительной очистки записей речи перед прослушиванием или дальнейшей обработкой. Языковая привязка определяется обучающими данными LibriSpeech, однако README не заявляет ограничение только английским языком. Модель распространяется по лицензии CC BY-SA 4.0. README также указывает, что в обучающих данных использовался датасет WSJ0 Hipster Ambient Mixtures с лицензией CC BY-NC 4.0, ограничивающей его исследовательским использованием.

Сценарии применения

  • очистка речи от фонового шума
  • улучшение разборчивости голосовых записей
  • предварительная обработка аудио перед распознаванием речи

Ограничения

Обучение проводилось на Libri1Mix для одноисточникового улучшения речи и аудио с частотой 16 кГц, поэтому качество на других типах звука и условиях записи может отличаться. Для обучающих данных README указывает компонент с лицензией CC BY-NC 4.0, допускающей только исследовательское использование.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Asteroid model JorisCos/DCCRNet_Libri1Mix_enhsignle_16k

Description:

This model was trained by Joris Cosentino using the librimix recipe in Asteroid. It was trained on the enh_single task of the Libri1Mix dataset.

Training config:

data:
  n_src: 1
  sample_rate: 16000
  segment: 3
  task: enh_single
  train_dir: data/wav16k/min/train-360
  valid_dir: data/wav16k/min/dev
filterbank:
  stft_kernel_size: 400
  stft_n_filters: 512
  stft_stride: 100
masknet:
  architecture: DCCRN-CL
  n_src: 1
optim:
  lr: 0.001
  optimizer: adam
  weight_decay: 1.0e-05
training:
  batch_size: 12
  early_stop: true
  epochs: 200
  gradient_clipping: 5
  half_lr: true
  num_workers: 4

Results:

On Libri1Mix min test set :

si_sdr: 13.329767398333798
si_sdr_imp: 9.879986092474098
sdr: 13.87279932997016
sdr_imp: 10.370136530757103
sir: Infinity
sir_imp: NaN
sar: 13.87279932997016
sar_imp: 10.370136530757103
stoi: 0.9140907015623948
stoi_imp: 0.11817087802185405

License notice:

This work "DCCRNet_Libri1Mix_enhsignle_16k" is a derivative of LibriSpeech ASR corpus by Vassil Panayotov, used under CC BY 4.0; of The WSJ0 Hipster Ambient Mixtures dataset by Whisper.ai, used under CC BY-NC 4.0 (Research only). "DCCRNet_Libri1Mix_enhsignle_16k" is licensed under Attribution-ShareAlike 3.0 Unported by Joris Cosentino

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
00914c6

0 моделей