/ Модель

Характеристики

Размер весов
979 МБ
Лицензия
MIT
Библиотека
onnx
Опубликована
12 авг 2026

stemstudio-htdemucs-onnx

Обработка аудиоАудио → аудио

ONNX-экспорт HTDemucs для разделения аудиозаписей на вокал и инструментальные дорожки в браузере с использованием WebGPU.

0скачиваний за 30 дней0лайковвеса обновлены13 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

alfajgjK публикует экспортированные в ONNX графы Hybrid Transformer Demucs (HTDemucs), подготовленные для запуска в браузере через onnxruntime-web с backend WebGPU. Модель разделяет аудиозапись на вокал и инструментал либо на отдельные дорожки: вокал, ударные, бас и другие инструменты; вариант на шесть дорожек дополнительно выделяет гитару и фортепиано. Один из вариантов основан на fine-tuned HTDemucs.

Графы оптимизированы для локального разделения аудио в браузере без загрузки файлов на сервер. Для WebGPU оптимизация ускоряет создание сессии, но увеличивает расход памяти и может замедлить выполнение через WASM, поэтому производительность зависит от выбранного провайдера. Графы используют веса fp16 и содержат свёрнутый inverse STFT. Репозиторий распространяется по лицензии MIT; у обучающих датасетов могут быть отдельные условия использования.

Сценарии применения

  • выделение вокала из музыкальной композиции
  • разделение песни на вокал, ударные, бас и другие инструменты
  • извлечение гитары и фортепиано из аудиозаписи
  • локальное разделение аудиодорожек в браузерном приложении

Ограничения

Оптимизированные графы рассчитаны на WebGPU: при запуске через WASM они могут потреблять больше памяти и работать медленнее. Для обучающих датасетов могут действовать отдельные условия лицензирования.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

htdemucs — ONNX graphs for onnxruntime-web (WebGPU)

Hybrid Transformer Demucs, exported to ONNX and prepared for in-browser inference with onnxruntime-web on the WebGPU backend. Used by stemstudio.jp for local, upload-free stem separation.

Derived from facebookresearch/demucs (MIT). See LICENSE — the upstream notice travels with these files.

Files

FileTransfer (gzip)InflatedStems
htdemucs_ft.opt.fp16.istft.onnx.gzbin141,591,461172,746,888vocals / instrumental (fine-tuned)
htdemucs_4s.opt.fp16.istft.onnx.gzbin141,601,329172,746,888vocals / drums / bass / other
htdemucs_6s.opt.fp16.istft.onnx.gzbin114,203,693142,573,723+ guitar / piano

Two things that are easy to get wrong

1. The .gzbin extension is deliberate. These are raw gzip streams stored as ordinary files, and the browser inflates them with DecompressionStream('gzip'). They are not named .gz, because some hosts and dev servers see that extension and add content-encoding: gzip, at which point the transport decompresses them and the application decompresses them again — which fails with incorrect header check. Detect gzip by the leading magic bytes (1f 8b), not by header or extension.

The compression is in the file rather than in the transport because model hosts generally serve .onnx uncompressed regardless of Accept-Encoding.

2. Build order matters: optimize before fp16, not after. Running the graph optimizer on an fp16 graph overflows folded constants to inf and every output becomes NaN. Worse, nan > tolerance is false, so a naive comparison reports "max diff 0.000e+00 / OK" on a completely broken model. The order used here is: fp32 export → graph optimization → fp16 weights → inverse STFT folded into the graph.

Why the optimized graph is WebGPU-only

Measured on one 7.8 s segment, same model, same host:

wasm heapwasm inferWebGPU session build
unoptimized1,223 MB16.8 s15.6 s
optimized3,251 MB18.1 s1.4 s

On WebGPU, session build gets ~11× faster. On wasm, heap grows 2.7× and inference gets slower. "Ship the optimized one and everyone gets faster" is false — pick per execution provider.

Training data

The upstream weights were trained on MUSDB18-HQ and additional sources. The MIT license covers the code and these derived graphs; the dataset carries its own terms, which are worth checking for your own use.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · onnx

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
e391281

0 моделей