/ Модель

Характеристики

Размер весов
5,6 ГБ
Лицензия
Apache 2.0
Библиотека
huggingface_hub
Опубликована
6 фев 2026

SoulX-Singer

Синтез речиТекст → аудио3 профессии

SoulX-Singer синтезирует реалистичное пение голосами новых исполнителей с управлением мелодией, нотами MIDI, ритмом и выразительностью.

1 777скачиваний за 30 дней180лайковвеса обновлены13 мар 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SoulX-Singer — модель синтеза поющего голоса, разработанная Soul AI Lab. Она генерирует реалистичное пение голосами ранее не встречавшихся певцов в режиме zero-shot. Управлять исполнением можно мелодией с контуром основной частоты F0 или нотами MIDI, задавая высоту тона, ритм и выразительность.

Модель предназначена для синтеза вокала по тексту и музыкальным условиям, включая персонализированное создание вокальных партий и вспомогательные технологии. В README проект также заявлен для академического и образовательного применения. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. В метаданных указана поддержка английского и китайского языков. README ссылается на исследовательскую статью, но не приводит размер модели или длину контекста.

Сценарии применения

  • создание вокальной партии по тексту и мелодии
  • синтез пения голосом ранее не встречавшегося исполнителя
  • генерация вокала с заданным контуром F0
  • создание вокала по нотам MIDI
  • персонализированный синтез поющего голоса

Ограничения

README описывает возможность zero-shot клонирования голоса, поэтому при использовании следует учитывать согласие исполнителей и права на голос. Заявленные сценарии включают академические, образовательные и легитимные применения.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SoulX-Singer is a high-fidelity, zero-shot singing voice synthesis model that enables users to generate realistic singing voices for unseen singers. It supports melody-conditioned (F0 contour) and score-conditioned (MIDI notes) control for precise pitch, rhythm, and expression.

For more details, please refer to the paper: SoulX-Singer: Towards High-Quality Zero-Shot Singing Voice Synthesis.

Sample Usage

1. Set Up Environment

git clone https://github.com/Soul-AILab/SoulX-Singer.git
cd SoulX-Singer
conda create -n soulxsinger -y python=3.10
conda activate soulxsinger
pip install -r requirements.txt

2. Download Pretrained Models

pip install -U huggingface_hub

# Download the SoulX-Singer SVS model
hf download Soul-AILab/SoulX-Singer --local-dir pretrained_models/SoulX-Singer

# Download models required for preprocessing
hf download Soul-AILab/SoulX-Singer-Preprocess --local-dir pretrained_models/SoulX-Singer-Preprocess

3. Run Inference

bash example/infer.sh

License

We use the Apache 2.0 license. Researchers and developers are free to use the codes and model weights of our SoulX-Singer. Check the license at LICENSE for more details.

Usage Disclaimer

This project provides a singing voice synthesis model for vocal generation capable of zero-shot voice cloning, intended for academic research, educational purposes, and legitimate applications, such as personalized vocal synthesis and assistive technologies.

Please note: We advocate for the responsible development and use of AI and encourage the community to uphold safety and ethical principles in AI research and applications. If you have any concerns regarding ethics or misuse, please contact us.

Citation

@misc{soulxsinger,
      title={SoulX-Singer: Towards High-Quality Zero-Shot Singing Voice Synthesis}, 
      author={Jiale Qian and Hao Meng and Tian Zheng and Pengcheng Zhu and Haopeng Lin and Yuhang Dai and Hanke Xie and Wenxiao Cao and Ruixuan Shang and Jun Wu and Hongmei Liu and Hanlin Wen and Jian Zhao and Zhonglin Jiang and Yong Chen and Shunshun Yin and Ming Tao and Jianguo Wei and Lei Xie and Xinsheng Wang},
      year={2026},
      eprint={2602.07803},
      archivePrefix={arXiv},
      primaryClass={eess.AS},
      url={https://arxiv.org/abs/2602.07803}, 
}

Contact Us

If you are interested in leaving a message to our work, feel free to email qianjiale@soulapp.cn or menghao@soulapp.cn or wangxinsheng@soulapp.cn

You’re welcome to join our WeChat or Soul APP group for technical discussions, updates.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · huggingface_hub

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов
40493ad

0 моделей