/ Модель
Каталог

Характеристики

Лицензия
MIT
Библиотека
onnx
Опубликована
12 окт 2026

Ссылки

Hugging Face

open-unmix-umxhq-drums-onnx

MixDirective
Обработка аудиоАудио → аудио

ONNX-модель Open-Unmix UMX-HQ оценивает магнитуду ударных в стереомиксе для выделения ударной партии и изменения её уровня.

0скачиваний за 30 дней0лайковвеса обновлены12 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это ONNX-экспорт сети выделения ударных инструментов из Open-Unmix UMX-HQ, подготовленный для приложения Mix Directive на основе опубликованных весов Open-Unmix. Модель предназначена для оценки ударной составляющей стереомикса и используется вместе с сетями вокала, баса и остальных инструментов для изменения уровня ударных или подавления других партий при сохранении ударного стема.

Архитектура — двунаправленная LSTM. Модель принимает магнитудный спектр STFT стереосигнала 44,1 кГц с фиксированным размером батча 1 и выдаёт оценку магнитуды ударных той же формы. STFT, обратное преобразование и фильтрация Винера выполняются вне графа ONNX; при обработке блоками модели нужен контекст в несколько секунд по обе стороны блока. Веса float32 экспортированы в ONNX opset 17 и, согласно README, дают результат, близкий к PyTorch.

Модель работает локально через ONNX Runtime на CPU и не требует PyTorch. Обучающие веса созданы авторами Open-Unmix на MUSDB18-HQ. Используется лицензия MIT; README отмечает, что более новые веса umxl с некоммерческой лицензией в этой модели не применяются.

Сценарии применения

  • выделение ударных из музыкального стереомикса
  • изменение громкости ударных в готовом миксе
  • подавление остальных партий с сохранением ударного стема
  • обработка аудио по блокам с контекстом для разделения источников

Ограничения

Модель оценивает только ударную составляющую и сама по себе не выполняет STFT, обратное преобразование или фильтрацию Винера: для восстановления аудио и формирования масок нужна внешняя обработка. Вход рассчитан на магнитудный STFT стереоаудио 44,1 кГц, батч фиксирован на 1; при обработке фрагментами требуется несколько секунд контекста.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Open-Unmix UMX-HQ drums (ONNX)

An ONNX export of the drums network from Open-Unmix UMX-HQ (pretrained weights: Zenodo 10.5281/zenodo.3370489, drums-9619578f.pth, MIT). The Mix Directive desktop app uses it, with the vocals, drums, bass and other networks together, for Music Rebalance (re-levelling drums in a mix) and Reduce Bleed's Model mode (keeping a drum stem and reducing the rest). It runs locally with ONNX Runtime on the CPU. No PyTorch is required.

Changes from the original

This is a modified redistribution under the original MIT licence (see LICENSE, © 2019 Inria):

  • Only the drums target's network is included, converted to ONNX (opset 17).
  • The graph is traced through a thin wrapper that repeats OpenUnmix.forward with a dynamic frame axis. The original reads the frame count as a Python int, which tracing would freeze. Batch size is fixed at 1 and stereo input is fixed.
  • The STFT/iSTFT and Wiener filtering are not part of the graph. The app turns the four targets' outputs into power-ratio masks instead.

The weights are unchanged (float32). The ONNX output matches PyTorch to within 6e-06.

The newer umxl weights are licensed for non-commercial use only and are not used.

Files

FileSizeSHA-256
model.onnx35,623,507 bytes471628e1e48138a634f962a89f622929980cf5485ed0a4e6e648e9dfcd1145d9
export_umxhq_onnx.py, export_umxhq_vocals_onnx.py—Scripts that produced model.onnx (python3 export_umxhq_onnx.py out_dir drums)

Usage

  • Input magnitude: float32 [1, 2, 2049, frames]. This is the magnitude STFT of a 44.1 kHz stereo signal (n_fft 4096, hop 1024, periodic Hann window, centred with reflect padding, as in torch.stft).
  • Output drums_magnitude: the estimated drums magnitude, the same shape as the input. Use it with the other targets' estimates as power-ratio masks on the complex mix STFT, then invert.
  • The network is a bidirectional LSTM, so give it a few seconds of context either side when processing in chunks.

Training data

The upstream authors trained UMX-HQ on MUSDB18-HQ and publish the weights under the MIT licence. See the Open-Unmix repository and the Zenodo record.

Citation

Stöter, F.-R., Uhlich, S., Liutkus, A., & Mitsufuji, Y. (2019). Open-Unmix – A Reference Implementation for Music Source Separation. Journal of Open Source Software, 4(41), 1667. https://doi.org/10.21105/joss.01667

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · onnx

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
47785d6

0 моделей

    Создать бенчмарк