/ Модель

Характеристики

Лицензия
Apache 2.0
Опубликована
3 авг 2025

SonicMaster

Обработка аудиоАудио → аудио

SonicMaster восстанавливает и мастерит музыкальные записи, автоматически или по текстовой инструкции корректируя распространённые дефекты звука.

0скачиваний за 30 дней29лайковвеса обновлены16 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SonicMaster — генеративная модель для восстановления и мастеринга музыкальных записей, представленная авторами исследовательской работы и проекта SonicMaster. Она принимает аудио и текстовую инструкцию на естественном языке либо работает в автоматическом режиме, преобразуя запись с дефектами в очищенную и обработанную версию. Для обучения использован подход flow matching и набор парных аудиозаписей с искусственно внесёнными дефектами.

Модель предназначена для коррекции реверберации, искажений и клиппинга, тонального дисбаланса, динамики и стереообраза. Её можно применять для автоматического улучшения музыки и адресной обработки по запросу, например для ослабления эха, усиления баса или повышения разборчивости вокала. В карточке заявлены улучшения по объективным метрикам качества и в субъективных тестах прослушивания. Лицензия — Apache-2.0.

Сценарии применения

  • удаление эха и реверберации из музыкальной записи
  • снижение искажений и исправление клиппинга
  • коррекция тонального баланса и усиление баса или высоких частот
  • улучшение громкости и динамики музыкального трека
  • расширение стереообраза записи
  • повышение уровня и разборчивости вокала

Ограничения

Описание подтверждает назначение для музыкальных записей и перечисленных типов дефектов, но не приводит численных ограничений по длительности входного аудио или подробных оценок качества для отдельных сценариев.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SonicMaster: Towards Controllable All-in-One Music Restoration and Mastering

Read paper | Project Page | Demo

SonicMaster is the first unified generative model for music restoration and mastering that addresses a broad spectrum of audio artifacts with text-based control. This model can be conditioned on natural language instructions to apply targeted enhancements, or it can operate in an automatic mode for general restoration.

The approach leverages a flow-matching generative training paradigm to learn an audio transformation that maps degraded inputs to their cleaned, mastered versions guided by text prompts. Objective audio quality metrics and subjective listening tests demonstrate that SonicMaster significantly improves sound quality across various artifact categories, confirming its effectiveness.

Abstract: Music recordings often suffer from audio quality issues such as excessive reverberation, distortion, clipping, tonal imbalances, and a narrowed stereo image, especially when created in non-professional settings without specialized equipment or expertise. These problems are typically corrected using separate specialized tools and manual adjustments. In this paper, we introduce SonicMaster, the first unified generative model for music restoration and mastering that addresses a broad spectrum of audio artifacts with text-based control. SonicMaster is conditioned on natural language instructions to apply targeted enhancements, or can operate in an automatic mode for general restoration. To train this model, we construct the SonicMaster dataset, a large dataset of paired degraded and high-quality tracks by simulating common degradation types with nineteen degradation functions belonging to five enhancements groups: equalization, dynamics, reverb, amplitude, and stereo. Our approach leverages a flow-matching generative training paradigm to learn an audio transformation that maps degraded inputs to their cleaned, mastered versions guided by text prompts. Objective audio quality metrics demonstrate that SonicMaster significantly improves sound quality across all artifact categories. Furthermore, subjective listening tests confirm that listeners prefer SonicMaster's enhanced outputs over the original degraded audio, highlighting the effectiveness of our unified approach.

SonicMaster can understand natural language queries related to mastering, such as:

  • Increase the clarity of this song by emphasizing treble frequencies.
  • Can you make this sound louder, please?
  • Improve the balance in this song.
  • Correct the unnatural frequency emphasis. Reduce the roominess or echo.
  • Increase the clarity of this song by emphasizing treble frequencies.
  • Clean this off any echoes!
  • Make the sound less squashed and more open.
  • Make this song sound more boomy by amplifying the low end bass frequencies.
  • Make the audio smoother and less distorted.
  • Disentangle the left and right channels to give this song a stereo feeling.
  • Raise the level of the vocals, please.
  • Please, dereverb this audio.
  • Disentangle the left and right channels to give this song a stereo feeling.
  • ...

Reference

If you use this model, please cite the original paper:

@inproceedings{melechovsky2026sonicmaster,
  title     = {{SonicMaster}: Towards Controllable All-in-One Music Restoration and Mastering},
  author    = {Melechovsky, Jan and Mehrish, Ambuj and Herremans, Dorien},
  booktitle = {Proceedings of the 43rd International Conference on Machine Learning},
  year      = {2026},
  address   = {Seoul, South Korea}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
93c7fa7

0 моделей