/ Модель

Характеристики

Лицензия
CC BY-SA 4.0

DCUNet_Libri1Mix_enhsingle_16k

Обработка аудиоАудио → аудио3 профессии

DCUNet Large-DCUNet-20, обученная на Libri1Mix, улучшает аудио с одним целевым говорящим.

56скачиваний за 30 дней5лайковвеса обновлены23 сен 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

DCUNet-модель, обученная Joris Cosentino с использованием рецепта Asteroid для задачи enh_single на наборе Libri1Mix. Она предназначена для улучшения речи в аудиозаписях с одним целевым говорящим. Архитектура — Large-DCUNet-20; модель обрабатывает аудио с частотой 16 кГц, используя STFT с 1024 фильтрами, окном 1024 и шагом 256. В конфигурации указаны сегменты обучения длиной 3 секунды и один целевой источник.

Модель применима для очистки речи от фоновых помех и разделения речи в смесях с одним целевым говорящим. Она обучена на Libri1Mix, поэтому описание подтверждает сценарий улучшения речи на данных этого набора, но не гарантирует качество на других типах шума и аудиозаписей. В метаданных указан формат PyTorch. Лицензия модели — CC BY-SA 4.0; README также сообщает об использовании исходных данных с условиями CC BY 4.0 и CC BY-NC 4.0, включая ограничение Research only для WSJ0 Hipster Ambient Mixtures.

Сценарии применения

  • очистка речи от фоновых помех
  • улучшение разборчивости речи в аудиосмесях
  • выделение одного целевого говорящего из смеси
  • обработка речевых записей с частотой 16 кГц

Ограничения

Обучение проводилось на Libri1Mix для задачи enh_single, поэтому качество на иных шумовых условиях и типах аудио не подтверждено. README отмечает для одного из использованных источников данных лицензию CC BY-NC 4.0 с ограничением Research only.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Asteroid model JorisCos/DCUNet_Libri1Mix_enhsignle_16k

Description:

This model was trained by Joris Cosentino using the librimix recipe in Asteroid. It was trained on the enh_single task of the Libri1Mix dataset.

Training config:

data:
  n_src: 1
  sample_rate: 16000
  segment: 3
  task: enh_single
  train_dir: data/wav16k/min/train-360
  valid_dir: data/wav16k/min/dev
filterbank:
  stft_n_filters: 1024
  stft_kernel_size: 1024
  stft_stride: 256
masknet:
  architecture: Large-DCUNet-20
  fix_length_mode: pad
  n_src: 1
optim:
  lr: 0.001
  optimizer: adam
  weight_decay: 1.0e-05
training:
  batch_size: 2
  early_stop: true
  epochs: 200
  gradient_clipping: 5
  half_lr: true
  num_workers: 4

Results:

On Libri1Mix min test set :

si_sdr: 13.154035391645971
si_sdr_imp: 9.704254085786271
sdr: 13.568058873121435
sdr_imp: 10.065396073908367
sar: 13.568058873121435
sar_imp: 10.065396073908367
stoi: 0.9199373340235417
stoi_imp: 0.12401751048300132

License notice:

This work "DCUNet_Libri1Mix_enhsignle_16k" is a derivative of LibriSpeech ASR corpus by Vassil Panayotov, used under CC BY 4.0; of The WSJ0 Hipster Ambient Mixtures dataset by Whisper.ai, used under CC BY-NC 4.0 (Research only). "DCUNet_Libri1Mix_enhsignle_16k" is licensed under Attribution-ShareAlike 3.0 Unported by Joris Cosentino

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
3fa7014

0 моделей