/ Модель

Характеристики

Лицензия
MIT
Библиотека
onnx
Опубликована
30 июл 2026

umx-hq

Обработка аудиоАудио → аудио

ONNX-экспорт Open-Unmix UMX-HQ выделяет вокал из стереомузыкального микса для последующего восстановления аудио.

0скачиваний за 30 дней0лайковвеса обновлены30 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Open-Unmix UMX-HQ — экспорт в ONNX вокальной ветви модели разделения музыкальных источников, подготовленный edgetools на основе опубликованных весов UMX-HQ из записи Zenodo 3370489. Модель выделяет вокальную составляющую из стереофонограммы; опубликован только вокальный граф, хотя исходная модель также предусматривает отдельные ветви для ударных, баса и прочих инструментов.

Граф принимает и выдаёт спектрограммы амплитуд формата float32 с размерностью [1, 2, 2049, frames]. Он содержит только спектральную модель: вычисление STFT, применение маски и обратное преобразование нужно реализовать во внешней среде. Для корректного результата требуются стерео и параметры сигнала 44,1 кГц, FFT 4096 и hop 1024; при восстановлении аудио используется фаза исходного микса без уточнения Wiener/EM. Архитектура UMX-HQ использует LSTM с шириной 512 и разделяет источники несколько менее чисто, чем UMX-L. Лицензия модели — MIT; она не предоставляет прав на обработку защищённых авторским правом записей.

Сценарии применения

  • выделение вокальной дорожки из музыкального микса
  • подготовка вокала для ремикса или караоке
  • создание вокальных стемов для музыкального монтажа

Ограничения

Опубликована только вокальная ветвь; STFT, применение маски и обратное преобразование аудио должен выполнять хост, используя указанные параметры. Разделение менее чистое, чем у UMX-L, и без Wiener/EM refinement.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Open-Unmix UMX-HQ (ONNX)

An ONNX export of the vocals stem of UMX-HQ, the Open-Unmix music source separation models trained on MUSDB18-HQ.

Filevocals.onnx
Size17,820,856 bytes (17.0 MiB)
SHA-2563d05709ff7197bbd4a33aee759e4e82002acb491f41c94770227ab57507b6ccb

Open-Unmix has one independent graph per stem (vocals / drums / bass / other); only vocals is published here. The other three can be exported from the same upstream weights with the same procedure — see the signal parameters below.

This is an export of the published UMX-HQ PyTorch weights (Zenodo record 3370489) — the spectrogram model only. The STFT, the mask application and the ISTFT are deliberately left outside the graph so a host can implement them in whatever environment it runs in; the parameters are given below.

Tensor contract

The graph maps a magnitude spectrogram to an estimated magnitude spectrogram for its stem. Read input/output names off the graph rather than hardcoding them.

  • Input — float32[1, 2, 2049, frames]: STFT magnitudes as (batch, channels, bins, frames) — batch 1, 2 channels (stereo), nb_bins = 2049.
  • Output — the same shape, the vocals estimate.

Every Open-Unmix stem graph takes the same mixture tensor, so a caller running more than one builds the spectrogram once and reuses it across sessions.

Signal parameters

These must match or the output is wrong:

Sample rate44,100 Hz, stereo
FFT size4096
Hop1024
WindowHann (periodic), centred (reflect-padded by n_fft / 2)
Bins2049 (n_fft / 2 + 1)

To reconstruct audio, apply the estimated magnitudes as a ratio mask over the mixture's phase and inverse-STFT. That is Open-Unmix's niter=0 path — no Wiener/EM refinement — which is what this export is validated against.

Why UMX-HQ rather than UMX-L

UMX-HQ is the same architecture at half the LSTM width (hidden_size 512 vs 1024). It separates slightly less cleanly than UMX-L, and it is MIT-licensed, whereas the UMX-L weights are CC BY-NC-SA 4.0 (non-commercial).

An MIT licence on the model grants no rights over the audio you run through it. Separating a copyrighted recording still needs its own clearance.

Licence and credit

Weights are MIT, from sigsep/open-unmix-pytorch. Please cite:

@article{stoter19,
  author  = {St\"oter, Fabian-Robert and Uhlich, Stefan and Liutkus, Antoine and Mitsufuji, Yuki},
  title   = {Open-Unmix - A Reference Implementation for Music Source Separation},
  journal = {Journal of Open Source Software},
  year    = 2019,
  doi     = {10.21105/joss.01667}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · onnx

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
87f26a5

0 моделей