/ Модель

Характеристики

Лицензия
MIT
Библиотека
mlx
Опубликована
5 окт 2026

demucs-mlx

Обработка аудиоАудио → аудио

Набор преобразованных для MLX моделей Demucs разделяет музыкальные записи на вокал, ударные, бас и другие дорожки на устройствах Apple Silicon.

0скачиваний за 30 дней0лайковвеса обновлены5 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Репозиторий содержит преобразованные в формат MLX веса восьми моделей Demucs для разделения музыкальной записи на отдельные дорожки. Их подготовил ssmall256 на основе официальных контрольных точек Meta Demucs; модели предназначены для запуска на Apple Silicon через пакеты demucs-mlx для Python и demucs-mlx-swift для Swift на macOS и iOS.

Модели разделяют аудио на четыре дорожки — вокал, ударные, бас и прочие звуки. Вариант htdemucs_6s дополнительно выделяет гитару и пианино; набор также включает варианты HTDemucs и модели, настроенные для отдельных дорожек. Веса сохранены в safetensors как float32, а конфигурации и контрольные суммы позволяют загрузчикам проверять целостность файлов. Для преобразования автор сверял результаты с исходными PyTorch-моделями Demucs.

Репозиторий рассчитан на экосистему MLX и Apple Silicon; README описывает использование через Python- и Swift-инструменты. Лицензия репозитория — MIT. README не приводит ограничений по качеству или условиям эксплуатации отдельных моделей.

Сценарии применения

  • выделение вокала из музыкальной записи
  • разделение песни на вокал, ударные, бас и прочие звуки
  • извлечение гитары и пианино из многодорожечной записи
  • подготовка музыкальных дорожек для ремикса
  • разделение музыки на Apple Silicon через Python или Swift

Ограничения

Для запуска требуются совместимые инструменты на базе MLX и устройство Apple Silicon. Модели выдают заданные музыкальные дорожки и не предназначены для произвольного разделения аудио на источники.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Demucs for MLX

MLX weights for all eight Demucs music source separation models, for use on Apple silicon with:

Provenance

These files were converted by ssmall256 from Meta's official Demucs checkpoints using the demucs-mlx converter (python -m demucs_mlx.mlx_convert <model>). The converter loads each official checkpoint with PyTorch's restricted weights_only loader, checks it against the Demucs registry's checksums, and writes safetensors — no pickle files are produced or needed.

Every member of every model was compared against its PyTorch source on the same input before release; agreement is between 75 and 120 dB signal-to-noise. The tensors are float32. Converting again with demucs-mlx reproduces these files byte for byte, so you can check them yourself against the digests below.

Models

ModelDescriptionStemsMembersSizeSHA-256 of .safetensors
htdemucsHybrid Transformer Demucs (default)41160 MB339d267a7a6983a11eedbdc00413c602a65e9b9103f695fb5c2b2a481cd9d297
htdemucs_ftFine-tuned HTDemucs, one specialist per stem44641 MB53f03b1ad4b4d211025a35da65460ba61a17547adf9c0544cad0ebcc8d7bbabb
htdemucs_6sHTDemucs with piano and guitar61105 MBd298f7f746bf53c21baad44fb08e88807ef47feb551dd22f1601a546c85b8e02
hdemucs_mmiHybrid Demucs v341319 MB39f359110433930c2a589131f84c03c26bbd209e89e10e6abbcb6062c131debc
mdxMDX challenge track A bag441,318 MBc95dab261c766fc50caadcd047aa2c125759b9b48efdac3f2aaab0fa35d8c41f
mdx_qmdx from the DiffQ-quantized checkpoints441,318 MBd7f31edb6b37b5ee391d104e1f88cb70c56ca82e3f6f9e8f4f3cd2df6e9bddfc
mdx_extraMDX challenge track B bag441,276 MBd1c969aa0a69417e767b23f97d10df944a4c9883febe853ab6d91ad0cb2276fe
mdx_extra_qmdx_extra from the DiffQ-quantized checkpoints441,276 MB82310bf4d1f32b8044cba6c192af77ab8d12a0acdedd7bf841caa78a61bd5839

Four-stem models produce drums, bass, other and vocals; htdemucs_6s adds guitar and piano. The _q names identify the original quantized checkpoints; the weights here are ordinary float32.

Each model is two files: <model>.safetensors and <model>_config.json. The config (format version 1) records the model classes and constructor arguments, ensemble weights, the official checkpoint signatures, and the SHA-256 of the weights. Both loaders verify that digest before building a model. This two-file layout is the shared cache format: demucs-mlx keeps it in ~/.cache/demucs-mlx (or DEMUCS_MLX_CACHE_DIR), and other tools can read the same directory instead of storing a second copy.

Use

To download one model, or everything, into a directory yourself:

hf download ssmall256/demucs-mlx htdemucs.safetensors htdemucs_config.json --local-dir ~/.cache/demucs-mlx
hf download ssmall256/demucs-mlx --local-dir ~/.cache/demucs-mlx

Python — demucs-mlx downloads the model it needs on first use and checks it against these digests, so there is nothing to fetch by hand:

pip install demucs-mlx
demucs-mlx song.wav

Swift — in demucs-mlx-swift, Separator.load() downloads and verifies the model on first use, and shares the same cache directory:

let separator = try await Separator.load()
let result = try await DemucsAudio.separate(songURL, using: separator)
try DemucsAudio.export(result, to: outputDirectory)

License and credit

MIT, the same license as Demucs. The models were trained by Alexandre Défossez and collaborators at Meta AI Research:

  • Défossez, Hybrid Spectrogram and Waveform Source Separation, 2021.
  • Rouard, Massa, Défossez, Hybrid Transformers for Music Source Separation, ICASSP 2023.

The MLX conversion, the demucs-mlx converter and both inference implementations are by ssmall256.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Ревизия весов
35ecb1a

0 моделей