/ Модель
Каталог

Характеристики

Лицензия
MIT
Библиотека
onnx
Опубликована
28 сен 2026

Ссылки

Hugging Face

open-unmix-umxhq-vocals-onnx

MixDirective
Обработка аудиоАудио → аудио

ONNX-экспорт сети Open-Unmix UMX-HQ выделяет вокальную составляющую из стереомикса для локальной обработки аудио.

0скачиваний за 30 дней0лайковвеса обновлены28 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это экспортированная в ONNX сеть выделения вокала из Open-Unmix UMX-HQ. Экспорт подготовлен для приложения Mix Directive на основе предварительно обученных весов Open-Unmix; веса сохранены без изменений. Модель принимает модуль спектра стереосигнала 44,1 кГц в форме [1, 2, 2049, frames] и оценивает модуль вокальной составляющей той же формы. Архитектура сети — двунаправленная LSTM; размер файла модели около 35,6 МБ, а размер входного пакета фиксирован как 1.

Модель предназначена для отделения вокала от полного музыкального микса, в частности перед выравниванием текста песни. ONNX Runtime позволяет запускать её локально на CPU без PyTorch. Для обработки аудио приложение должно вычислить STFT, применить оценку сети как маску к комплексному спектру и выполнить обратное преобразование; эти этапы и фильтрация Wiener в граф ONNX не входят. При обработке чанками двунаправленной сети нужен контекст в несколько секунд по обе стороны фрагмента. Репозиторий распространяется по лицензии MIT; исходные веса Open-Unmix также опубликованы под MIT.

Сценарии применения

  • выделение вокала из полного музыкального микса
  • подготовка песни к выравниванию текста и временных меток слов
  • получение вокальной дорожки для дальнейшей обработки

Ограничения

Модель принимает только стерео и ожидает модуль STFT сигнала с частотой 44,1 кГц; вычисление STFT, применение маски и обратное преобразование выполняются отдельно. При обработке фрагментами требуется контекст в несколько секунд из-за двунаправленной LSTM; оценка качества в README основана на неформальной проверке пяти песен.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Open-Unmix UMX-HQ vocals (ONNX)

An ONNX export of the vocals network from Open-Unmix UMX-HQ (pretrained weights: Zenodo 10.5281/zenodo.3370489, vocals-b62c91ce.pth, MIT). The Mix Directive desktop app uses it to isolate vocals from a full mix before aligning lyrics, running locally with ONNX Runtime on the CPU. No PyTorch is required.

Changes from the original

This is a modified redistribution under the original MIT licence (see LICENSE, © 2019 Inria):

  • Only the vocals target's network is included, converted to ONNX (opset 17).
  • The graph is traced through a thin wrapper that repeats OpenUnmix.forward with a dynamic frame axis. The original reads the frame count as a Python int, which tracing would freeze. Batch size is fixed at 1 and stereo input is fixed.
  • The STFT/iSTFT and Wiener filtering are not part of the graph. The app applies the output as a ratio mask instead.

The weights are unchanged (float32). The ONNX output matches PyTorch to within 5e-6.

Files

FileSizeSHA-256
model.onnx35,623,512 bytesf27742bb52b24cb039614dc76d0764e279df3eb2a9d6daa82c6daee3369ec747
export_umxhq_vocals_onnx.py—Script that produced model.onnx

Usage

  • Input magnitude: float32 [1, 2, 2049, frames]. This is the magnitude STFT of a 44.1 kHz stereo signal (n_fft 4096, hop 1024, periodic Hann window, centred with reflect padding, as in torch.stft).
  • Output vocals_magnitude: the estimated vocal magnitude, the same shape as the input. Divide it by the input magnitude, clip to [0, 1], multiply the complex mix STFT by that mask, then invert.
  • The network is a bidirectional LSTM, so give it a few seconds of context either side when processing in chunks.

Evaluation

This was tested informally for lyric alignment on five songs with hand-corrected word timings. Words aligned within 0.5 s rose from 77.6% on the unseparated full mix to 85.5% after separation, compared with 87.4% from the original vocal stems. Separation took 1–2 s per song on a laptop CPU.

Training data

The upstream authors trained UMX-HQ on MUSDB18-HQ and publish the weights under the MIT licence. See the Open-Unmix repository and the Zenodo record.

Citation

Stöter, F.-R., Uhlich, S., Liutkus, A., & Mitsufuji, Y. (2019). Open-Unmix – A Reference Implementation for Music Source Separation. Journal of Open Source Software, 4(41), 1667. https://doi.org/10.21105/joss.01667

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · onnx

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
e06097d

0 моделей

    Создать бенчмарк