Характеристики

Лицензия: Своя лицензия
Библиотека: onnx
Опубликована: 12 окт 2026

Ссылки

Hugging Face

mix-directive-dereverb-onnx

MixDirective

Обработка аудиоАудио → аудио

Локальная ONNX-модель Mix Directive подавляет позднюю реверберацию в вокале и аудиозаписях с сохранением прямого звука.

0скачиваний за 30 дней1лайквеса обновлены12 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Mix Directive разработала эту модель для подавления реверберации в аудио. Это сверточная сеть по времени с глубинными разделимыми свёртками и остаточными связями: 18 блоков с 256 каналами и контекстом около 10,9 секунды. Модель содержит около 1,5 млн параметров и поставляется в формате ONNX с операциями opset 17 и весами float32; приложение Mix Directive запускает её локально на CPU через ONNX Runtime.

На вход подаётся логарифм амплитуды STFT моносигнала с частотой 48 кГц, нормализованного по RMS. Модель возвращает маску для спектра: она сохраняет фазу, прямой звук и первые 50 мс отражений, ослабляя позднюю реверберацию. Сеть обучена на сухих вокальных записях VocalSet и VCTK, обработанных сгенерированными реверберациями, а также на тонах и инструментальных дорожках. В описанной проверке она уменьшала ошибку реверберации у голосов и певческих записей сильнее классического метода приложения; сухие голоса и аккорды сохранялись почти без изменений.

Модель предназначена для функции Learned в инструменте Reduce Reverb спектрального редактора Mix Directive. Для обучения использовались певческие записи и речь на английском языке; отдельные языковые ответы модель не генерирует. Лицензия проприетарная, все права защищены: веса опубликованы для загрузки приложением. Результаты оценки получены на синтетически обработанных данных, поэтому качество на других типах аудио может отличаться.

Сценарии применения

уменьшение реверберации в вокальной записи
очистка речи с комнатным эхом
подготовка сухого вокала для сведения
подавление реверберации в инструментальных дорожках

Ограничения

Модель рассчитана на вход в виде нормализованного моносигнала 48 кГц, преобразованного в STFT по указанной схеме. Оценка проводилась на реверберации, созданной искусственно; качество на реальных помещениях и других типах звука может отличаться.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Mix Directive dereverb (ONNX)

A dereverberation mask network trained by Mix Directive. The Mix Directive desktop app uses it for the Learned method of Reduce Reverb in the Spectral Editor, running locally with ONNX Runtime on the CPU.

Model

A temporal convolution network: 2 × 9 dilated depthwise-separable residual blocks (256 channels, dilations 1–256 frames, receptive field ≈ 10.9 s), about 1.5 M parameters, float32, ONNX opset 17.
Input logmag: float32 [1, frames, 513], log(|STFT| + 1e-5) of the RMS-normalised mono signal (48 kHz, n_fft 1024, hop 256, periodic Hann window, centred with reflect padding, as in torch.stft).
Output mask: float32 [1, frames, 513] in [0, 1]. Multiply the complex STFT by it (phase kept) and invert. The mask keeps the direct sound and the first 50 ms of the room, and removes the late reverberation.

Evaluation

On held-out singers (VocalSet) and speakers (VCTK) that were not used in training, with generated plug-in-style reverbs, it removes 4–5 dB more reverb error than the input (about +4.4 dB for singers and +5.1 dB for speakers, against +0.6 dB for the app's classical method). It leaves dry voices and chords within ±0.05 dB, and steady pure tones are lowered by about 0.2 dB on average.

Training data

Trained on pairs made by convolving dry recordings with generated room and plug-in-style reverb responses. The dry recordings came from:

VocalSet — Wilkins, J., Seetharaman, P., Wahl, A., & Pardo, B. (2018). VocalSet: A Singing Voice Dataset. ISMIR. https://zenodo.org/record/1442513 — licensed CC BY 4.0.
CSTR VCTK Corpus 0.92 — Yamagishi, J., Veaux, C., & MacDonald, K. (2019). CSTR VCTK Corpus: English Multi-speaker Corpus for CSTR Voice Cloning Toolkit (version 0.92). University of Edinburgh. https://doi.org/10.7488/ds/2645 — licensed CC BY 4.0.
Generated tones and dry instrument stems that Mix Directive is licensed to use.

No recordings from these datasets are distributed here.

Files

File	Size	SHA-256
`model.onnx`	5,963,876 bytes	`db0d2df647e946751ca80613f3909d2bc3aa83bafc6566b2d604834911bbea37`

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · onnx

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов: 5116a62