/ Модель

Характеристики

Размер весов
10,2 ГБ
Лицензия
Своя лицензия
Базовая модель
SongGeneration
Библиотека
mlx
Опубликована
14 июн 2026

SongGeneration-v2-large-mlx

Генерация аудиоТекст → аудио3 профессии

Конвертированный в MLX крупный чекпойнт Tencent SongGeneration v2 для генерации песен по текстовому запросу на Apple Silicon.

36скачиваний за 30 дней0лайковвеса обновлены14 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это конвертированный для Apple MLX чекпойнт крупной версии SongGeneration v2 от Tencent. Репозиторий содержит bf16-веса авт autoregressive audiolm-генератора токенов песни; для получения FLAC нужен отдельный мост декодирования Flow1dVAE из SongGeneration-MLX и официальные runtime-ресурсы. Модель предназначена для создания песен по текстовому запросу в среде Apple Silicon. README описывает генерацию дискретных аудиотокенов и декодирование в стерео FLAC с частотой 48 кГц; проверка приведена для 12-секундной генерации на варианте medium bf16, поэтому её результаты не следует считать оценкой качества именно large-чекпойнта.

Использование требует MLX для генерации и PyTorch-компонента для декодирования; лицензия указана как other, без уточнения условий в доступных данных.

Сценарии применения

  • создание песен по текстовому описанию
  • генерация музыкального аудио на Apple Silicon
  • получение аудиотокенов песни для последующего декодирования в FLAC

Ограничения

Чекпойнт генерирует токены, а не готовый FLAC: для декодирования требуется отдельный PyTorch-мост Flow1dVAE и официальные runtime-ресурсы. Без штрафа за повторение токенов генерация может вырождаться в повторяющиеся токены и почти бесшумный результат.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Part of the SongGeneration MLX conversion set. Collection: https://huggingface.co/collections/mlx-community/songgeneration-v2-mlx-6a1bf9342dd0806419737229

SongGeneration-v2-large

Apple MLX weights for the autoregressive audiolm token generator from Tencent SongGeneration v2-large.

This default repository is the bf16 variant and is equivalent to mlx-community/SongGeneration-v2-large-bf16. Use this repo when you want the recommended default checkpoint.

This is not a full-stack pure MLX audio pipeline yet: token generation runs with MLX, while FLAC decoding currently uses the official PyTorch Flow1dVAE / separate-tokenizer bridge in ailuntx/SongGeneration-MLX.

TL;DR

Variantv2-large
Precisionbf16 (bfloat16)
Converted componentSongGeneration audiolm token generator
Runtimeailuntx/SongGeneration-MLX
Official modeltencent/SongGeneration
Official codetencent-ailab/songgeneration

Quick Start

git clone https://github.com/ailuntx/SongGeneration-MLX.git
cd SongGeneration-MLX
python -m venv .venv
.venv/bin/pip install -e .
.venv/bin/pip install -U huggingface_hub hf_transfer

HF_HUB_ENABLE_HF_TRANSFER=1 .venv/bin/hf download mlx-community/SongGeneration-v2-large --local-dir ./models/SongGeneration-v2-large

.venv/bin/python -m songgeneration_mlx.cli \
  --model ./models/SongGeneration-v2-large \
  --lyrics '[verse] hello from mlx [chorus] sing it again' \
  --description 'Pop, female vocal, bright production, [Musicality-medium].' \
  --duration 2 \
  --top-k 50 \
  --temperature 0.9 \
  --output tokens_2s.npz

Decode Tokens

The MLX runtime writes discrete song tokens. To create FLAC audio, use the official decoder bridge in ailuntx/SongGeneration-MLX. The bridge needs the official SongGeneration runtime/ assets, but it does not need the original SongGeneration LM model.pt when --mlx-model is used.

python -m venv .venv-decoder
.venv-decoder/bin/pip install -U pip
.venv-decoder/bin/pip install \
  -r third_party/SongGeneration/requirements.txt \
  -r third_party/SongGeneration/requirements_nodeps.txt \
  soundfile

HF_HUB_ENABLE_HF_TRANSFER=1 .venv/bin/hf download tencent/SongGeneration \
  --include "runtime/*" \
  --local-dir ./third_party/SongGeneration

PYTORCH_ENABLE_MPS_FALLBACK=1 SONGGEN_DEVICE=mps \
.venv-decoder/bin/python scripts/decode_tokens_official.py \
  --mlx-model ./models/SongGeneration-v2-large \
  --tokens ./tokens_2s.npz \
  --output ./output_2s.flac \
  --device mps

Variants

VariantDiskNotes
SongGeneration-v2-medium-fp3210Ghigh-precision medium baseline
SongGeneration-v2-medium-bf165.2Grecommended medium bf16 quality baseline
SongGeneration-v2-medium-8bit2.8Gsmaller medium checkpoint
SongGeneration-v2-medium-4bit1.5Gsmallest medium checkpoint
SongGeneration-v2-large-fp3219Ghigh-precision large baseline
SongGeneration-v2-large9.5Gdefault large checkpoint, same weights as bf16
SongGeneration-v2-large-bf169.5Gexplicit large bf16 quality baseline
SongGeneration-v2-large-8bit5.0Gsmaller large checkpoint
SongGeneration-v2-large-4bit2.7Gsmallest large checkpoint
SongGeneration-v2-fast-*pendingupstream fast weights were not publicly available when checked on 2026-05-31

Layout

SongGeneration-v2-large/
|-- model-00001-of-000xx.safetensors
|-- model.safetensors.index.json
|-- config.json
|-- mlx_manifest.json
|-- config.official.yaml
|-- vocab.yaml
`-- qwen2_tokenizer/

Validation

Local Apple Silicon validation was run on the medium bf16 path:

TestResult
12s MLX token generation550 pattern steps, about 1 minute wall time
12s official decoder bridge73.27s wall time
12s FLAC48kHz stereo, 12.000s, RMS about 0.163

The official recent-token repetition penalty is implemented in the MLX runtime. Without it, 12s generations collapse into repeated tokens and decode close to silence.

License

License follows the upstream SongGeneration release. Check the official model card and repository for the authoritative model license.

Citation

@misc{songgeneration-mlx,
  title  = {SongGeneration-MLX: Apple MLX port of SongGeneration},
  author = {ailuntx},
  year   = {2026},
  url    = {https://github.com/ailuntx/SongGeneration-MLX},
}

@article{lei2025levo,
  title   = {LeVo: High-Quality Song Generation with Multi-Preference Alignment},
  author  = {Lei, Shun and Xu, Yaoxun and Lin, Zhiwei and Zhang, Huaicheng and Tan, Wei and Chen, Hangting and Yu, Jianwei and Zhang, Yixuan and Yang, Chenyu and Zhu, Haina and Wang, Shuai and Wu, Zhiyong and Yu, Dong},
  journal = {arXiv preprint arXiv:2506.07520},
  year    = {2025},
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Ревизия весов
36dba8e

0 моделей