/ Модель

Характеристики

Лицензия
MIT
Опубликована
11 дек 2023

resemble-enhance

Обработка аудиоАудио → аудио

Resemble Enhance очищает и восстанавливает речь в аудиозаписях, снижая шум и улучшая качество звучания.

0скачиваний за 30 дней199лайковвеса обновлены21 дек 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Resemble Enhance — модель обработки аудио от Resemble AI для улучшения качества речи. Она включает два модуля: денойзер отделяет речь от шумного аудио, а энхансер повышает воспринимаемое качество, восстанавливает искажения и расширяет полосу частот. Модули обучены на речевых данных с частотой 44,1 кГц.

Модель предназначена для очистки и восстановления речевых записей, в том числе с фоновой музыкой, уличным шумом и архивных аудиозаписей. Репозиторий содержит веса PyTorch. Указана лицензия MIT.

Сценарии применения

  • удаление фонового шума из речи
  • подавление уличного шума в записях
  • очистка речи на фоне музыки
  • восстановление искажённой речи
  • улучшение качества архивных аудиозаписей

Ограничения

Модель ориентирована на улучшение речевого аудио; сведения о качестве на других типах звука не приведены. Обучение описано для речи с частотой 44,1 кГц.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Resemble Enhance is an AI-powered tool that aims to improve the overall quality of speech by performing denoising and enhancement. It consists of two modules: a denoiser, which separates speech from a noisy audio, and an enhancer, which further boosts the perceptual audio quality by restoring audio distortions and extending the audio bandwidth. The two models are trained on high-quality 44.1kHz speech data that guarantees the enhancement of your speech with high quality.

Below are three videos with separate examples of Resemble Enhance's denoiser module and then enhancer module improving speech quality.

Background Music - https://youtu.be/gl--IMtQ0XQ

Street Noise - https://youtu.be/zC87BjtsZVA

Archived Speech - https://youtu.be/6dALaLMJhSQ

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
4e3510c

0 моделей