/ Модель

Характеристики

Лицензия
MIT
Библиотека
onnxruntime
Опубликована
31 июл 2026

GEC1700-vocal-remover

Обработка аудиоАудио → аудио3 профессии

Набор моделей Open-Unmix UMX-L в ONNX для локального отделения вокала, ударных, баса и прочих инструментов из музыкального микса.

6скачиваний за 30 дней0лайковвеса обновлены31 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Набор из четырёх моделей ONNX для разделения музыкального стереомикса на отдельные дорожки: вокал, ударные, бас и прочие инструменты. Модели экспортированы из Open-Unmix UMX-L и предназначены для локального запуска в DJNed на Android через ONNX Runtime.

Каждая модель обрабатывает входную спектрограмму амплитуд размером (batch, 2, 2049, число кадров) и выдаёт спектрограмму выделенного источника той же формы. Для работы на устройстве приложение должно выполнять STFT и ISTFT; конфигурация указывает БПФ 4096, шаг 1024 и частоту дискретизации 44,1 кГц. Архитектура включает линейные слои, BatchNorm и трёхслойную LSTM. Файлы моделей имеют формат ONNX и размер около 108 МБ каждый.

Модели рассчитаны на разделение музыкальных источников на устройстве, а README сообщает о проверке совпадения результатов с PyTorch с максимальной абсолютной разницей менее 0,00001. Указана лицензия MIT. Самостоятельно модели принимают и возвращают спектрограммы, поэтому преобразование аудиосигнала в спектрограмму и обратно должно выполнять приложение.

Сценарии применения

  • выделение вокала из музыкального микса
  • отделение ударных для ремикса
  • извлечение басовой партии из стереозаписи
  • разделение музыки на вокал, ударные, бас и прочие инструменты на Android

Ограничения

Моделям нужны стереоспектрограммы; STFT и обратное преобразование ISTFT должно выполнять приложение. Предназначены для разделения музыкальных источников, а не для обработки произвольного аудио.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Open-Unmix UMX-L — ONNX Stem Separation Models

4 source-specific ONNX models for stem separation, exported from Open-Unmix UMX-L.

Models

FileSourceSizeFormat
umxl_vocals.onnxVocals~108 MBONNX opset 17
umxl_drums.onnxDrums~108 MBONNX opset 17
umxl_bass.onnxBass~108 MBONNX opset 17
umxl_other.onnxOther~108 MBONNX opset 17

Architecture

Open-Unmix operates in the spectrogram domain (not waveform). Each model:

  • Input: Magnitude spectrogram (batch, 2, 2049, nb_frames) — stereo, 2049 frequency bins
  • Output: Masked spectrogram (batch, 2, 2049, nb_frames) — same shape
  • Internal: Linear → BatchNorm → LSTM (3 layers) → Linear → Output scaling → ReLU masking

Usage

STFT and ISTFT must be performed on-device:

  1. STFT: n_fft=4096, n_hop=1024, sample rate 44100 Hz
  2. Magnitude: Compute |STFT(audio)| → (1, 2, 2049, frames)
  3. Model: Run each source model on the magnitude spectrogram
  4. Reconstruct: Multiply masked spectrogram with complex STFT phase
  5. ISTFT: Invert back to waveform

Config

config.json contains STFT parameters:

{
  "n_fft": 4096,
  "n_hop": 1024,
  "nb_bins": 2049,
  "sample_rate": 44100,
  "sources": ["vocals", "drums", "bass", "other"],
  "model": "umxl"
}

Verification

All models verified with ONNX Runtime (max absolute diff < 0.00001 vs PyTorch).

For DJNed App

These models are used by the DJNed Android app for on-device stem separation. Download is managed by the app's Model Manager.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · onnxruntime

Нельзя запустить

Модель выложена только в формате ONNX.

Ревизия весов
68425c1

0 моделей