/ Модель

Характеристики

Размер весов
5,6 ГБ
Лицензия
Своя лицензия
Базовая модель
SongGeneration
Библиотека
mlx
Опубликована
31 мая 2026

SongGeneration-v2-medium

Генерация аудиоТекст → аудио3 профессии

Вариант MLX модели Tencent SongGeneration v2-medium для генерации песенных аудиотокенов по тексту на Apple Silicon.

209скачиваний за 30 дней2лайкавеса обновлены31 мая 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SongGeneration-v2-medium — вариант весов MLX для компонента авторегрессионного генератора аудиотокенов AudioLM из SongGeneration v2 от Tencent, подготовленный сообществом mlx-community для Apple Silicon. Модель предназначена для генерации песен по текстовому описанию; её выдача — дискретные аудиотокены, которые затем нужно декодировать в звук официальным декодером Flow1dVAE через отдельный мост PyTorch. Это не полный аудиоконвейер на MLX.

В репозитории размещён вариант bf16 в формате safetensors; он эквивалентен SongGeneration-v2-medium-bf16. Для генерации 12 секунд аудио README сообщает около минуты на создание токенов и около 73 секунд на декодирование; проверенный результат — стерео FLAC 48 кГц длительностью 12 секунд. Для работы нужны официальные runtime-ресурсы SongGeneration и отдельный декодер. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

Сценарии применения

  • генерация песен по текстовому описанию
  • создание музыкальных заготовок для последующего декодирования в FLAC
  • эксперименты с генерацией музыки на Apple Silicon

Ограничения

Репозиторий содержит генератор токенов, а не полный аудиоконвейер: для получения FLAC требуется отдельный декодер Flow1dVAE с официальными runtime-ресурсами. Заявлена лицензия other, но её конкретные условия в доступных данных не приведены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Part of the SongGeneration MLX conversion set. Collection: https://huggingface.co/collections/mlx-community/songgeneration-v2-mlx-6a1bf9342dd0806419737229

SongGeneration-v2-medium

Apple MLX weights for the autoregressive audiolm token generator from Tencent SongGeneration v2-medium.

This default repository is the bf16 variant and is equivalent to mlx-community/SongGeneration-v2-medium-bf16. Use this repo when you want the recommended default checkpoint.

This is not a full-stack pure MLX audio pipeline yet: token generation runs with MLX, while FLAC decoding currently uses the official PyTorch Flow1dVAE / separate-tokenizer bridge in ailuntx/SongGeneration-MLX.

TL;DR

Variantv2-medium
Precisionbf16 (bfloat16)
Converted componentSongGeneration audiolm token generator
Runtimeailuntx/SongGeneration-MLX
Official modeltencent/SongGeneration
Official codetencent-ailab/songgeneration

Quick Start

git clone https://github.com/ailuntx/SongGeneration-MLX.git
cd SongGeneration-MLX
python -m venv .venv
.venv/bin/pip install -e .
.venv/bin/pip install -U huggingface_hub hf_transfer

HF_HUB_ENABLE_HF_TRANSFER=1 .venv/bin/hf download mlx-community/SongGeneration-v2-medium --local-dir ./models/SongGeneration-v2-medium

.venv/bin/python -m songgeneration_mlx.cli \
  --model ./models/SongGeneration-v2-medium \
  --lyrics '[verse] hello from mlx [chorus] sing it again' \
  --description 'Pop, female vocal, bright production, [Musicality-medium].' \
  --duration 2 \
  --top-k 50 \
  --temperature 0.9 \
  --output tokens_2s.npz

Decode Tokens

The MLX runtime writes discrete song tokens. To create FLAC audio, use the official decoder bridge in ailuntx/SongGeneration-MLX. The bridge needs the official SongGeneration runtime/ assets, but it does not need the original SongGeneration LM model.pt when --mlx-model is used.

python -m venv .venv-decoder
.venv-decoder/bin/pip install -U pip
.venv-decoder/bin/pip install \
  -r third_party/SongGeneration/requirements.txt \
  -r third_party/SongGeneration/requirements_nodeps.txt \
  soundfile

HF_HUB_ENABLE_HF_TRANSFER=1 .venv/bin/hf download tencent/SongGeneration \
  --include "runtime/*" \
  --local-dir ./third_party/SongGeneration

PYTORCH_ENABLE_MPS_FALLBACK=1 SONGGEN_DEVICE=mps \
.venv-decoder/bin/python scripts/decode_tokens_official.py \
  --mlx-model ./models/SongGeneration-v2-medium \
  --tokens ./tokens_2s.npz \
  --output ./output_2s.flac \
  --device mps

Variants

VariantDiskNotes
SongGeneration-v2-medium-fp3210Ghigh-precision medium baseline
SongGeneration-v2-medium5.2Gdefault medium checkpoint, same weights as bf16
SongGeneration-v2-medium-bf165.2Gexplicit medium bf16 quality baseline
SongGeneration-v2-medium-8bit2.8Gsmaller medium checkpoint
SongGeneration-v2-medium-4bit1.5Gsmallest medium checkpoint
SongGeneration-v2-large-fp3219Ghigh-precision large baseline
SongGeneration-v2-large-bf169.5Glarge bf16 quality baseline
SongGeneration-v2-large-8bit5.0Gsmaller large checkpoint
SongGeneration-v2-large-4bit2.7Gsmallest large checkpoint
SongGeneration-v2-fast-*pendingupstream fast weights were not publicly available when checked on 2026-05-31

Layout

SongGeneration-v2-medium/
|-- model-00001-of-000xx.safetensors
|-- model.safetensors.index.json
|-- config.json
|-- mlx_manifest.json
|-- config.official.yaml
|-- vocab.yaml
`-- qwen2_tokenizer/

Validation

Local Apple Silicon validation was run on the medium bf16 path:

TestResult
12s MLX token generation550 pattern steps, about 1 minute wall time
12s official decoder bridge73.27s wall time
12s FLAC48kHz stereo, 12.000s, RMS about 0.163

The official recent-token repetition penalty is implemented in the MLX runtime. Without it, 12s generations collapse into repeated tokens and decode close to silence.

License

License follows the upstream SongGeneration release. Check the official model card and repository for the authoritative model license.

Citation

@misc{songgeneration-mlx,
  title  = {SongGeneration-MLX: Apple MLX port of SongGeneration},
  author = {ailuntx},
  year   = {2026},
  url    = {https://github.com/ailuntx/SongGeneration-MLX},
}

@article{lei2025levo,
  title   = {LeVo: High-Quality Song Generation with Multi-Preference Alignment},
  author  = {Lei, Shun and Xu, Yaoxun and Lin, Zhiwei and Zhang, Huaicheng and Tan, Wei and Chen, Hangting and Yu, Jianwei and Zhang, Yixuan and Yang, Chenyu and Zhu, Haina and Wang, Shuai and Wu, Zhiyong and Yu, Dong},
  journal = {arXiv preprint arXiv:2506.07520},
  year    = {2025},
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Ревизия весов
97176ff

0 моделей