Характеристики

Размер весов: 2,4 ГБ
Лицензия: MIT
Опубликована: 6 авг 2026

Ссылки

Hugging Face

windowed-roformer-onnx

mtsmfm

Обработка аудиоАудио → аудио

Конверсия smulelabs/windowed-roformer в ONNX для разделения вокала и фонового сопровождения в аудиозаписях.

0скачиваний за 30 дней0лайковвеса обновлены7 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это конверсия модели smulelabs/windowed-roformer в формат ONNX для разделения вокала и фонового сопровождения в аудиозаписях. В основе лежит чекпойнт mbr-win10-sink8; исходные код и веса распространяются по лицензии MIT.

Репозиторий содержит вариант fp32 для обычного ONNX Runtime и оптимизированные варианты fp16 и fp32 для WebGPU через wagiri. Обычная ONNX-модель принимает спектр STFT, а не исходную звуковую волну: используется частота дискретизации 44,1 кГц, окна по 8 секунд, n_fft 2048 и hop 441. Варианты wagiri используют специальные операции и требуют пропатченного onnxruntime-web с ядрами wagiri; на обычном ONNX Runtime они не запускаются.

Сценарии применения

отделение вокальной дорожки от фонограммы
выделение фонового сопровождения из песни
разделение аудиозаписи на вокал и музыку

Ограничения

Обычный ONNX-вариант принимает STFT-представление аудио; в README описаны фрагменты по 8 секунд при 44,1 кГц. Версии для WebGPU требуют wagiri и пропатченного onnxruntime-web, поэтому не работают на стандартном ONNX Runtime.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

windowed-roformer-onnx

ONNX conversions of smulelabs/windowed-roformer (checkpoint mbr-win10-sink8; code and weights are MIT) for vocals/BGM separation.

Files

File	What it is
`windowed-roformer.onnx`	Plain fp32 conversion. Runs on stock ONNX Runtime. FlexAttention is replaced with an equivalent block-local + sink attention, and STFT/iSTFT are moved outside the model — I/O is `stft_in` / `masked_stft` `(1, 2, 1025, 801, 2)` (n_fft 2048, hop 441, 44.1kHz, 8-second chunks).
`wagiri/wagiri-roformer.onnx`	fp16, heavily optimized for WebGPU in wagiri. Not runnable on stock ONNX Runtime: the graph uses com.microsoft ops with app-specific semantics that require wagiri's patched onnxruntime-web kernels.
`wagiri/wagiri-roformer-fp32.onnx`	Same as above in fp32, for GPUs without `shader-f16`.

The conversion pipeline (with numerical-equivalence checks at every stage) lives in wagiri's conversion/.

License

MIT, same as the original code and weights.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов: 7ab881a