/ Модель

Характеристики

Лицензия
Своя лицензия
Опубликована
10 окт 2026

mdx-net-kim-vocal-2-GGUF

Обработка аудиоАудио → аудио

GGUF-конверсия MDX-Net KimVocal2 для извлечения вокала и инструментальной дорожки из музыкального микса.

95скачиваний за 30 дней0лайковвеса обновлены10 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

KimVocal2 — модель разделения музыкального аудио на вокальную и инструментальную составляющие из списка моделей Ultimate Vocal Remover (UVR), преобразованная автором репозитория в формат GGUF для запуска через stems.cpp. Это вариант MDX-Net от KUIELab: архитектура ConvTDFNet использует сверточные блоки, TDF-слои и пропускающие связи; в карточке указан файл размером около 63,6 МиБ с весами F32. Модель принимает музыкальную запись и оценивает вокальную дорожку; инструментальная часть получается вычитанием вокала из исходного микса.

GGUF-версия предназначена для запуска на CPU, CUDA, Vulkan и Metal без Python. В README приведены измерения близкого совпадения результатов с исходной ONNX-моделью для CPU, CUDA и Vulkan. Для Apple Metal требуется stems.cpp версии 0.1.5 или новее. Лицензия на веса не указана; README прямо предупреждает не считать их лицензированными для какого-либо использования без отдельного подтверждения прав.

Сценарии применения

  • извлечение вокальной дорожки из песни
  • получение инструментальной версии композиции
  • подготовка вокала для ремикса или сведения
  • разделение музыки на вокал и минус для дальнейшей обработки

Ограничения

Весам не указана лицензия, поэтому условия их использования не установлены. На Apple Metal требуется stems.cpp версии 0.1.5 или новее; на M4 скорость CPU в README оценена примерно в 0,3 от реального времени.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Kim_Vocal_2 (MDX-Net) GGUF

No license is stated for these weights anywhere upstream. Kim_Vocal_2 is distributed with Ultimate Vocal Remover's MDX-Net models and mirrored without one. It is republished here in GGUF form with that caveat. Do not assume any license, and if you hold the rights and want it removed, open a discussion on this repository.

Kim_Vocal_2, the MDX-Net vocal model from UVR's model list, converted to GGUF for stems.cpp, a C++/ggml stem separator that runs on CPU, CUDA, Vulkan and Metal with no Python. It estimates vocals; the instrumental is the mix minus the vocals, as in UVR.

filesize
mdx_net_kim_vocal_2-17M-v1.0-F32.gguf63.6 MiB

Download and run

git clone --recursive https://github.com/betweentwomidnights/stems.cpp && cd stems.cpp
./build.sh vulkan                          # or cpu | cuda | metal   (Windows: build.cmd)
./models.sh mdx_net_kim_vocal_2            # stems.cpp v0.1.4 and later
build-vulkan/bin/stems-split -m models/mdx_net_kim_vocal_2-17M-v1.0-F32.gguf -i song.wav -o stems/

stems-server finds it by model name ("model": "mdx_net_kim_vocal_2").

What the runtime does

The network is KUIELab's MDX-Net (ConvTDFNet), rebuilt from the ONNX graph: Conv/BatchNorm/ReLU blocks, BatchNorm-after-Linear TDF layers and multiplicative skips, 5 scales of 3 blocks, 48 channels. The spectral path follows UVR's MDX separation at the GUI defaults: an n_fft 7680 / hop 1024 STFT cropped to 3072 bins, Hann-windowed chunks of 261120 samples, the first three bins zeroed, and UVR's 1.009 compensation. See stems.cpp's docs/MDX.md.

Parity

SNR of the C++ output against the unchanged ONNX file run in onnxruntime with UVR's own STFT and demix, on a 20 s clip (demucs' test.mp3), as seg (the first chunk) / full (the whole clip). Measured 2026-10-09 with ggml 9d0d910b and 4ad3b30b (identical). CPU: Core Ultra 9 275HX. Vulkan and CUDA: RTX 5070 Laptop. Cosine is 1.0000000 on every output.

backendseg vocalsfull vocalsfull instrumental20 s clip
CPU101.5 dB101.3 dB143.6 dB17.7 s
CUDA99.5 dB99.4 dB142.1 dB4.3 s
Vulkan97.0 dB97.1 dB140.1 dB4.6 s
Metal (Apple M4)97.6 dB97.7 dB140.7 dB8.7 s

On Apple Metal it needs stems.cpp v0.1.5 or later: v0.1.4 aborts there with unsupported op 'PAD'. The Metal row is against references dumped on the M4 (ggml 4ad3b30b, 2026-10-10), peak memory 272 MB. The M4's CPU runs it at about 0.3x realtime, so expect that on Intel Macs.

Sources

  • Upstream: Kim_Vocal_2.onnx from the seanghay/uvr_models mirror at revision 6f4fc0cfb0717c9033ffed12471a53008f145b20, sha256 ce74ef3b6a6024ce44211a07be9cf8bc6d87728cc852a68ab34eb8e58cde9c8b. UVR's model_data.json supplies its parameters (compensate 1.009, dim_f 3072, dim_t 256, n_fft 7680, primary stem Vocals).
  • Converted with stems.cpp's tools/convert_mdx.py --preset kim_vocal_2, which walks the ONNX graph node by node and checks every op, attribute and connection. Remaining BatchNorms are folded into the adjacent weights and tensors get structural names. The architecture and weights are otherwise unchanged. Conversion is deterministic: re-running it reproduces this file byte for byte.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
4a6bf26

0 моделей