Характеристики

Лицензия: MIT
Опубликована: 23 сен 2026

Ссылки

stem-separator

Обработка аудиоАудио → аудио

Экспортированная в ONNX модель HTDemucs v4 для разделения музыкального стереомикса на вокал, ударные, бас и прочие звуки.

0скачиваний за 30 дней0лайковвеса обновлены1 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

arisha07/stem-separator — экспорт в формате ONNX предварительно обученной модели HTDemucs v4 от Meta Research для разделения стереомикса на четыре звуковые дорожки: ударные, бас, прочие инструменты и вокал. Модель использует гибридную архитектуру HTDemucs, объединяющую частотную и временную ветви; граф ONNX рассчитан на входные сегменты длительностью около 7,8 секунды при 44,1 кГц. Экспорт предназначен для клиентского запуска в браузере через ONNX Runtime Web с ускорением WebNN и резервным использованием WebGPU или WASM.

Модель подходит для извлечения вокала и отдельных инструментальных партий из музыки, например для подготовки минусовок, ремиксов и анализа музыкальных записей. Это конверсия исходного чекпойнта без дообучения; в README приведено сравнение промежуточных результатов с эталонным fp32-процессом. Репозиторий распространяется по лицензии MIT. Для работы требуется клиентская пред- и постобработка, включая STFT/iSTFT и сборку перекрывающихся сегментов; сама модель принимает подготовленные спектрограмму и стереоволну, а не необработанный аудиофайл.

Сценарии применения

извлечение вокала из музыкальной записи
создание инструментальной минусовки
разделение ударных и баса в миксе
подготовка отдельных дорожек для ремикса
разбор музыкального микса на партии

Ограничения

Модель обрабатывает подготовленные сегменты стереоаудио, а для полного процесса нужны клиентские этапы STFT/iSTFT и сборка сегментов. Проверка в README показывает малые, но ненулевые расхождения с fp32-эталоном при выполнении ONNX в fp16.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Stem Separator (HTDemucs v4, fwd-only ONNX export) - WebNN

ONNX export of Meta's pretrained HTDemucs v4 (htdemucs.th, base/non-fine-tuned checkpoint) used by the WebNN Developer Preview Stem Separator demo. Splits a stereo mix into drums / bass / other / vocals, running entirely client-side via ONNX Runtime Web with WebNN (NPU/GPU) acceleration, cascading to WebGPU/WASM.

Files

File	Size	Description
`onnx/htdemucs_fwd.onnx`	~2.3 MB	Model graph
`onnx/htdemucs_fwd.onnx.data`	~168 MB	External weights

Provenance

Source checkpoint: Meta Research's pretrained htdemucs.th base checkpoint (signature 955717e8, filename 955717e8-8726e21a.th) from the facebookresearch/demucs project (MIT license), checkpoint link. No training or fine-tuning was performed. This is a format conversion of an already-trained model.
Conversion: exported via convert_htdemucs_fwd_only.py, a script modeled on the HTDemucs conversion utilities from the RyanMetcalfeInt8/Music-Source-Separation-Training fork, purpose-built to produce a clean, opset-pinned ONNX file for web/WebNN consumption rather than an OpenVINO IR intermediate.
Why fwd-only: torch.onnx.export cannot trace the complex-tensor ops used by HTDemucs's STFT/iSTFT stages. Those stages are reimplemented client-side in JavaScript instead, matching the original PyTorch implementation within floating-point tolerance.
Conversion command:
```
python convert_htdemucs_fwd_only.py \
  --config configs/config_musdb18_htdemucs.yaml \
  --checkpoint 955717e8-8726e21a.th \
  --output htdemucs_fwd.onnx
```
The exact script used is included in this repository at tools/convert_htdemucs_fwd_only.py as reproducibility collateral (adapted from the fork above, MIT License).

Input / Output shapes

Tensor	Shape	Description
`x` (input)	`[1, 4, 2048, 336]`	Normalized CAC spectrogram (freq-domain branch)
`xt` (input)	`[1, 2, 343980]`	Normalized stereo waveform (time-domain branch), ~7.8s @ 44.1kHz
`x_out` (output)	`[1, 16, 2048, 336]`	4 stems × 4-channel CAC spectrogram
`xt_out` (output)	`[1, 8, 343980]`	4 stems × stereo waveform

Segments are processed with 50% overlap (SEGMENT_LENGTH=343980, OVERLAP=171990) and reassembled with triangular-weighted overlap-add.

Validation

Compared against a Python fp32 reference pipeline (sine-wave input, every intermediate stage dumped):

Stage	Max diff
STFT	9.5e-7
pre_forward	7.6e-6
ONNX `fwd` (fp16)	MAE 9e-4
post_forward	1.8e-7

Usage

See the Stem Separator demo in the WebNN Developer Preview repository for the full client-side pre/post-processing pipeline.

License

MIT - see LICENSE.md. Derived from facebookresearch/demucs (MIT).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов: 15ea34e