/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
SoulX-Singer
Библиотека
mlx
Опубликована
31 мая 2026

SoulX-Singer-bf16

Генерация аудиоТекст → аудио3 профессии

SoulX-Singer-bf16 — набор весов для синтеза и преобразования вокала на Apple Silicon с использованием модели SoulX-Singer.

123скачиваний за 30 дней1лайквеса обновлены31 мая 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SoulX-Singer-bf16 — набор весов в формате safetensors, подготовленный сообществом mlx-community для запуска на Apple Silicon через MLX. Он содержит компоненты SoulX-Singer SVS для синтеза пения по тексту и музыкальному управлению, а также SoulX-Singer-SVC для преобразования вокала. Это конвертированное представление дообученной модели Soul-AILab/SoulX-Singer, а не полностью нативный MLX-runtime: для генерации аудио README использует официальную структуру модели на PyTorch через SoulX-Singer-MLX.

Модель предназначена для создания вокальных партий и преобразования пения; базовая модель поддерживает управление мелодией, MIDI-нотами, ритмом и выразительностью. Репозиторий предлагает веса bf16 объёмом около 2,6 ГБ. README приводит проверку генерации WAV длительностью 6,71 секунды с частотой 24 кГц в моно, однако описанные проверки не характеризуют качество для всех сценариев. Лицензия — Apache-2.0.

Сценарии применения

  • создание вокальной партии по тексту и музыкальному управлению
  • синтез пения с заданными MIDI-нотами и мелодией
  • управление ритмом и выразительностью вокала
  • преобразование уже записанного пения

Ограничения

Для генерации требуется использовать PyTorch-структуру модели через SoulX-Singer-MLX; полностью нативный MLX audio runtime пока не реализован. README сообщает о краткой проверке генерации, но не приводит систематических оценок качества.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SoulX-Singer-bf16

Apple MLX safetensors checkpoint for Soul-AILab/SoulX-Singer, including both SoulX-Singer SVS and SoulX-Singer-SVC weights.

Collection: https://huggingface.co/collections/mlx-community/soulx-singer-mlx-6a1c0525d0911ea400102840

This is not a pure end-to-end MLX audio runtime yet. The weights are converted to an MLX-friendly safetensors layout, while full audio generation currently uses the official PyTorch model structure through ailuntx/SoulX-Singer-MLX.

TL;DR

Precisionbf16
Disk2.6G
Componentssvs/ and svc/
Runtime / bridgeailuntx/SoulX-Singer-MLX
Official modelSoul-AILab/SoulX-Singer
Official codeSoul-AILab/SoulX-Singer

Quick Start

git clone https://github.com/ailuntx/SoulX-Singer-MLX.git
cd SoulX-Singer-MLX
conda create -n soulxsinger-mlx -y python=3.10
conda activate soulxsinger-mlx
python -m pip install -U pip
python -m pip install -r requirements.txt mlx safetensors huggingface_hub hf_transfer

HF_HUB_ENABLE_HF_TRANSFER=1 hf download mlx-community/SoulX-Singer-bf16 --local-dir ./models/SoulX-Singer-bf16
hf download openai/whisper-base --local-dir pretrained_models/openai__whisper-base

Run a short SVS bridge test:

PYTORCH_ENABLE_MPS_FALLBACK=1 \
SOULX_WHISPER_MODEL=pretrained_models/openai__whisper-base \
python scripts/inference_mlx_bridge.py \
  --model ./models/SoulX-Singer-bf16 \
  --component svs \
  --device mps \
  --prompt_wav_path example/audio/zh_prompt.mp3 \
  --prompt_metadata_path example/audio/zh_prompt.json \
  --target_metadata_path example/audio/zh_target.json \
  --control melody \
  --n_steps 1 \
  --cfg 1 \
  --save_dir outputs_mlx_bridge/svs

Run an SVC bridge test:

PYTORCH_ENABLE_MPS_FALLBACK=1 \
SOULX_WHISPER_MODEL=pretrained_models/openai__whisper-base \
python scripts/inference_mlx_bridge.py \
  --model ./models/SoulX-Singer-bf16 \
  --component svc \
  --device mps \
  --prompt_wav_path example/audio/zh_prompt.mp3 \
  --target_wav_path example/audio/music.mp3 \
  --prompt_f0_path example/audio/zh_prompt_f0.npy \
  --target_f0_path example/audio/music_f0.npy \
  --n_steps 1 \
  --cfg 1 \
  --save_dir outputs_mlx_bridge/svc

Variants

VariantDiskNotes
SoulX-Singer-4bit774Msmallest checkpoint; MLX affine quantized
SoulX-Singer-8bit1.4Gsmaller checkpoint; MLX affine quantized
SoulX-Singer-bf162.6Grecommended high-quality baseline
SoulX-Singer-fp325.6Gfull-precision conversion baseline

Layout

SoulX-Singer-bf16/
|-- config.json
|-- config.yaml
|-- mlx_manifest.json
|-- svs/
|   |-- model.safetensors.index.json
|   `-- model-00001-of-000xx.safetensors
`-- svc/
    |-- model.safetensors.index.json
    `-- model-00001-of-000xx.safetensors

This repo has 11 SVS shard(s) and 11 SVC shard(s).

Validation

Local Apple Silicon validation:

TestResult
Official PyTorch/MPS SVS, n_steps=1generated 6.71s WAV, 24kHz mono
SoulX-Singer-bf16 component loadsvs/ and svc/ safetensors are indexed and loadable
bf16 PyTorch bridge SVS, n_steps=1generated 6.71s WAV, 24kHz mono, RMS about 0.029

For quantized checkpoints, the bridge loader dequantizes MLX affine tensors into the official PyTorch module shapes for compatibility testing. Native all-MLX inference is planned as a later runtime step.

License

The converted weights follow the upstream SoulX-Singer Apache-2.0 release.

Citation

@misc{soulx-singer-mlx,
  title  = {SoulX-Singer-MLX: Apple MLX safetensors port of SoulX-Singer},
  author = {ailuntx},
  year   = {2026},
  url    = {https://github.com/ailuntx/SoulX-Singer-MLX},
}

@misc{soulxsinger,
  title={SoulX-Singer: Towards High-Quality Zero-Shot Singing Voice Synthesis},
  author={Jiale Qian and Hao Meng and Tian Zheng and Pengcheng Zhu and Haopeng Lin and Yuhang Dai and Hanke Xie and Wenxiao Cao and Ruixuan Shang and Jun Wu and Hongmei Liu and Hanlin Wen and Jian Zhao and Zhonglin Jiang and Yong Chen and Shunshun Yin and Ming Tao and Jianguo Wei and Lei Xie and Xinsheng Wang},
  year={2026},
  eprint={2602.07803},
  archivePrefix={arXiv},
  primaryClass={eess.AS},
  url={https://arxiv.org/abs/2602.07803},
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Ревизия весов
09d8745

0 моделей