/ Модель

Характеристики

Размер весов
5,3 МБ
Лицензия
MIT
Библиотека
onnxruntime
Опубликована
30 июн 2026

mel-band-roformer-vocals-onnx

Обработка аудиоАудио → аудио

ONNX-экспорт Mel-Band RoFormer для офлайн-выделения вокальной дорожки из музыкального микса.

0скачиваний за 30 дней1лайквеса обновлены30 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Silverdaw Vocal Quality Pack — Mel-Band RoFormer (ONNX) — это экспорт модели разделения музыкального аудио, который Silverdaw предлагает как дополнительный вариант повышенного качества для выделения вокала. Репозиторий повторно размещает неизменённые веса и экспорт из musetric/vocal-separation-roformer-onnx; формат модели — ONNX с FP16-весами, предназначенный для запуска через ONNX Runtime.

Ядро принимает заранее рассчитанное комплексное STFT-представление аудио и возвращает комплексную маску. Хост-приложение применяет маску, выполняет обратное преобразование и собирает фрагменты; вокал выдаётся отдельно, а инструментальная дорожка получается как остаток исходного микса после вычитания вокала. Параметры описанного конвейера: частота дискретизации 44,1 кГц, FFT 2048, шаг 441 отсчёт и фрагменты примерно по 11 секунд с перекрывающимся объединением.

Модель предназначена для офлайн-разделения вокала в настольной DAW и не рассчитана на обработку в аудиоколбэке реального времени. Лицензия репозитория — MIT; README указывает, что веса и экспорт побайтно совпадают с исходным репозиторием.

Сценарии применения

  • выделение вокала из музыкального микса
  • создание инструментальной версии песни вычитанием вокала
  • подготовка вокальной дорожки для сведения в DAW
  • разделение аудиотрека на вокальную и остаточную инструментальную составляющие

Ограничения

Модель предназначена для офлайн-обработки и не подходит для аудиоколбэка реального времени. ONNX-граф ожидает предварительно рассчитанный STFT, а внешний файл весов должен находиться рядом с графом.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Silverdaw Vocal Quality Pack — Mel-Band RoFormer (ONNX)

A host-STFT ONNX export of a Mel-Band RoFormer vocal-separation model, used by Silverdaw as its optional higher-quality vocals model. Silverdaw produces the isolated vocal stem with this model; the instrumental side is reconstructed as the residual (mix − vocals).

The torch.stft / torch.istft are stripped out of the graph: the ONNX core consumes a precomputed STFT and returns per-bin complex masks, and the host application runs the STFT, applies the masks, and runs the iSTFT.

This repository is a re-host of musetric/vocal-separation-roformer-onnx so Silverdaw can serve the file from a stable, self-owned location. The weights and the export are unchanged (byte-identical; same SHA-256).

Files

FileSizeNotes
syhft_core_folded_fp16_webgpu.onnx~5 MBThe neural-core graph.
syhft_core_folded_fp16_webgpu.onnx.data~707 MBExternal fp16 weights. Must sit beside the .onnx — the graph references it by exact filename; ONNX Runtime loads it automatically.

I/O contract (host pipeline)

  • STFT — n_fft = 2048, hop = 441, 44.1 kHz, periodic Hann window, reflect ("centre") padding by n_fft/2. One chunk = hop × (frames − 1) samples (≈ 11 s, frames = 1101).
  • Tensor — [1, 2050, 1101, 2] = (batch, (n_fft/2 + 1) × channels, frames, complex), with packed bin index 2 × freq + channel.
  • Mask — the model returns a complex mask of the same shape; the host applies it by complex multiplication onto the STFT, then runs an envelope-normalised iSTFT and a chunk-level overlap-add. Track-level recombination is a Hamming overlap-add (8 s step over the ~11 s window) with peak normalisation.

Provenance & license

License: MIT.

Note on training data: the upstream training-data provenance is undocumented; the weights are distributed by their author under MIT. This re-host treats them as MIT-licensed accordingly, the same posture taken by other openly-distributed separation models.

Intended use

Designed for offline (non-real-time) vocal separation inside a desktop DAW. It is not a real-time audio-callback model — run it on a worker/background thread.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · onnxruntime

Нельзя запустить

Модель выложена только в формате ONNX.

Ревизия весов
6baa633

0 моделей