/ Модель

Характеристики

Размер весов
269 МБ
Лицензия
MIT
Библиотека
onnxruntime
Опубликована
30 июн 2026

bs-roformer-rhythm-onnx

Обработка аудиоАудио → аудио

ONNX-экспорт BS-RoFormer разделяет музыкальные записи на ударные, бас, прочие инструменты и вокал для офлайн-обработки.

0скачиваний за 30 дней0лайковвеса обновлены30 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Silverdaw Rhythm Quality Pack — 4-stem BS-RoFormer — это экспорт архитектуры BS-RoFormer в ONNX, предназначенный для разделения музыкального аудио на партии ударных, баса, прочих инструментов и вокала. Модель использует ONNX Runtime и может запускаться на CPU или GPU DirectX 12 через DirectML.

Граф принимает действительную и мнимую части STFT спектрограммы и возвращает спектрограммы четырёх стемов в порядке drums, bass, other, vocals. Преобразование STFT и обратное преобразование выполняются хост-приложением; модель рассчитана на чанки фиксированной длины около 8 секунд при частоте 44,1 кГц с последующим объединением перекрывающихся фрагментов. В Silverdaw её используют как опциональную высококачественную модель для выделения ударных и баса.

Лицензия — MIT. Модель предназначена для офлайн-обработки в настольной DAW, а не для работы в аудиореальном времени; вычисления следует выполнять в фоновом потоке.

Сценарии применения

  • выделение ударных из музыкального микса
  • выделение басовой партии из песни
  • разделение музыкальной записи на четыре стема
  • подготовка стемов для редактирования в настольной DAW

Ограничения

Модель предназначена для офлайн-обработки, не для аудиореального времени. Входной граф фиксирован на чанки около 8 секунд при 44,1 кГц; STFT, обратное STFT и объединение перекрывающихся фрагментов должен выполнять вызывающий код.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Silverdaw Rhythm Quality Pack — 4-stem BS-RoFormer (ONNX)

A host-STFT ONNX export of a 4-stem BS-RoFormer music source-separation model (bass / drums / other / vocals), used by Silverdaw as its optional higher-quality drums + bass model. Silverdaw runs the model once and keeps the drums and bass outputs (vocals come from a dedicated vocal model; other is reconstructed as the residual).

The torch.stft / torch.istft are stripped out of the graph: the ONNX core consumes a precomputed STFT and returns the masked per-stem spectrogram, and the host application runs the STFT and per-stem iSTFT. This keeps the graph portable (standard ONNX ops, opset 17, no contrib operators) so it runs on the CPU and on DirectX 12 GPUs via ONNX Runtime's DirectML execution provider.

Files

FileSizeNotes
bs_roformer_4stem_rhythm_fp16.onnx~257 MBfp16 weights, single self-contained graph (no external .onnx.data).

I/O contract

  • Inputs — spec_real, spec_imag, each float32 [1, 2, 1025, 801] = (batch, audio channel, frequency bin, time frame): the real and imaginary parts of torch.stft(audio, n_fft=2048, hop_length=441, win_length=2048, window=hann, center=True, normalized=False).
  • Outputs — out_spec_real, out_spec_imag, each float32 [1, 4, 2, 1025, 801] = (batch, stem, channel, freq, frame): the masked spectrogram per stem. Stem order: drums, bass, other, vocals. The DC bin is zeroed in-graph.
  • Window — traced at a fixed 8 s chunk (T = 801 frames, 352,800 samples at 44.1 kHz). The rotary embedding caches by sequence length, so the time axis is fixed; callers chunk the audio and overlap-add. Reconstruct each stem with the inverse STFT (same parameters) and a windowed overlap-add normalised by an accumulated window counter.

Provenance & license

License: MIT. This export combines three MIT-licensed sources:

Note on training data: the model was trained on MUSDB18-HQ, whose dataset terms are research-oriented. Whether dataset terms reach through to the resulting weights is an unsettled, industry-wide question; this export treats the trained weights as governed by the trainer's chosen MIT license, the same posture taken by other openly-distributed separation models (e.g. htdemucs).

Intended use

Designed for offline (non-real-time) stem separation inside a desktop DAW. It is not a real-time audio-callback model — run it on a worker/background thread.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · onnxruntime

Нельзя запустить

Модель выложена только в формате ONNX.

Ревизия весов
9fa8c3a

0 моделей