/ Модель
Каталог

Характеристики

Лицензия
MIT
Библиотека
onnx
Опубликована
12 окт 2026

Ссылки

Hugging Face

open-unmix-umxhq-other-onnx

MixDirective
Обработка аудиоАудио → аудио

ONNX-модель оценивает спектральную партию «прочее» в стереомузыкальном миксе для разделения источников и регулировки их громкости.

0скачиваний за 30 дней1лайквеса обновлены12 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это ONNX-экспорт сети other из набора Open-Unmix UMX-HQ, предназначенный для оценки партии «прочее» в музыкальном миксе. Исходную модель разработали авторы Open-Unmix; веса опубликованы на Zenodo и обучены на MUSDB18-HQ. Репозиторий MixDirective содержит изменённое распространение модели в формате ONNX с неизменёнными весами float32.

Модель принимает амплитудный спектр стереосигнала 44,1 кГц в виде тензора float32 и выдаёт оценку спектра целевого источника той же формы. В основе — двунаправленная LSTM. Экспорт рассчитан на ONNX Runtime и локальный запуск на CPU; STFT, обратное преобразование и фильтрация Винера в граф не входят. В приложении Mix Directive оценку используют вместе с другими целевыми сетями для регулировки громкости партий, не относящихся к вокалу, ударным и басу, а также для режима Reduce Bleed.

Модель распространяется по лицензии MIT. При обработке фрагментами двунаправленной LSTM требуется контекст в несколько секунд по обе стороны фрагмента. Вход ограничен одним стереоканальным примером за раз; модель сама не выполняет полный цикл разделения источников и ожидает спектрограмму, подготовленную с заданными параметрами STFT.

Сценарии применения

  • оценка партии прочих инструментов в музыкальном миксе
  • регулировка громкости всех партий, кроме вокала, ударных и баса
  • разделение музыкального микса на целевые источники
  • уменьшение просачивания звука между партиями в режиме Reduce Bleed

Ограничения

Модель выдаёт оценку спектра «прочего» источника, а не готовый аудиосигнал: STFT, маскирование и обратное преобразование нужно выполнять отдельно. Она рассчитана на стерео 44,1 кГц с конкретными параметрами STFT; при обработке чанками нужен контекст в несколько секунд с обеих сторон.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Open-Unmix UMX-HQ other (ONNX)

An ONNX export of the other network from Open-Unmix UMX-HQ (pretrained weights: Zenodo 10.5281/zenodo.3370489, other-b52fbbf7.pth, MIT). The Mix Directive desktop app uses it, with the vocals, drums, bass and other networks together, for Music Rebalance (re-levelling everything that is not voice, drums or bass) and Reduce Bleed's Model mode. It runs locally with ONNX Runtime on the CPU. No PyTorch is required.

Changes from the original

This is a modified redistribution under the original MIT licence (see LICENSE, © 2019 Inria):

  • Only the other target's network is included, converted to ONNX (opset 17).
  • The graph is traced through a thin wrapper that repeats OpenUnmix.forward with a dynamic frame axis. The original reads the frame count as a Python int, which tracing would freeze. Batch size is fixed at 1 and stereo input is fixed.
  • The STFT/iSTFT and Wiener filtering are not part of the graph. The app turns the four targets' outputs into power-ratio masks instead.

The weights are unchanged (float32). The ONNX output matches PyTorch to within 4e-06.

The newer umxl weights are licensed for non-commercial use only and are not used.

Files

FileSizeSHA-256
model.onnx35,623,507 bytesfe62c1d8fb8326c7e68540a675dfa186a2b131f763fb41050ea5e9a9859eb76e
export_umxhq_onnx.py, export_umxhq_vocals_onnx.py—Scripts that produced model.onnx (python3 export_umxhq_onnx.py out_dir other)

Usage

  • Input magnitude: float32 [1, 2, 2049, frames]. This is the magnitude STFT of a 44.1 kHz stereo signal (n_fft 4096, hop 1024, periodic Hann window, centred with reflect padding, as in torch.stft).
  • Output other_magnitude: the estimated other magnitude, the same shape as the input. Use it with the other targets' estimates as power-ratio masks on the complex mix STFT, then invert.
  • The network is a bidirectional LSTM, so give it a few seconds of context either side when processing in chunks.

Training data

The upstream authors trained UMX-HQ on MUSDB18-HQ and publish the weights under the MIT licence. See the Open-Unmix repository and the Zenodo record.

Citation

Stöter, F.-R., Uhlich, S., Liutkus, A., & Mitsufuji, Y. (2019). Open-Unmix – A Reference Implementation for Music Source Separation. Journal of Open Source Software, 4(41), 1667. https://doi.org/10.21105/joss.01667

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · onnx

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
5b743f7

0 моделей

    Создать бенчмарк