/ Модель

Характеристики

Лицензия
MIT
Базовая модель
acestep-v15-xl-turbo
Опубликована
3 окт 2026

ACE-Step-v1.5-xl-turbo-nvfp4

Генерация аудиоТекст → аудио

Квантизированная в NVFP4 версия ACE-Step 1.5 XL Turbo для генерации музыки и аудио по текстовым описаниям в ComfyUI.

0скачиваний за 30 дней0лайковвеса обновлены3 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ACE-Step 1.5 XL Turbo NVFP4 — модель генерации музыки и аудио по текстовому описанию, подготовленная автором репозитория sjoe1244 на основе ACE-Step/acestep-v15-xl-turbo. Это 4-миллиардная DiT-модель с 8-шаговым turbo-сэмплированием, преобразованная в формат NVFP4 для крупных линейных слоёв; часть параметров, включая нормы, смещения, эмбеддеры и выходную голову, оставлена в bf16. Файл весит 3,1 ГБ вместо 10 ГБ у версии bf16.

Модель предназначена для использования в ComfyUI в рабочих процессах ACE-Step: по текстовому описанию и, при необходимости, тексту песни она создаёт музыкальное аудио. Автор приводит сравнение с bf16-версией и сообщает о близком совпадении спектра и меньшем потреблении видеопамяти в отдельных условиях, однако проверка качества была ограниченной.

Для работы требуются видеокарта NVIDIA Blackwell, например RTX 50-й серии, ComfyUI с comfy-kitchen и PyTorch, собранный для CUDA 13. Текстовые энкодеры и VAE остаются от исходного рабочего процесса. Модель распространяется по лицензии MIT; языки и длина контекста в карточке не заданы.

Сценарии применения

  • создание музыкального фрагмента по описанию жанра и настроения
  • генерация песни по текстовому описанию и заданному тексту песни
  • создание фоновой музыки для видео или игры
  • быстрое прототипирование музыкальных аранжировок в ComfyUI

Ограничения

Для запуска нужна видеокарта NVIDIA Blackwell и совместимая сборка ComfyUI; качество проверено лишь на ограниченном числе примеров и не гарантирует совпадения результата с bf16. На коротких клипах NVFP4-версия может работать медленнее bf16.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ACE-Step 1.5 XL Turbo — NVFP4

NVFP4 quantization of ACE-Step/acestep-v15-xl-turbo (4B DiT, 8-step turbo) for ComfyUI.

  • Size: 3.1 GB (the bf16 file is 10 GB)
  • Needs: an NVIDIA Blackwell GPU (RTX 50-series), ComfyUI with comfy-kitchen and PyTorch built for CUDA 13. Tested on ComfyUI 0.37.0, comfy-kitchen 0.2.35.
  • Usage: drop acestep_v1.5_xl_turbo_nvfp4.safetensors in ComfyUI/models/diffusion_models/ and pick it in the ACE-Step 1.5 workflow's UNet loader. Text encoders and VAE are unchanged.

Fixed (Oct 2, 2026)

The first upload crashed with AssertionError: Input tensor must be contiguous as soon as sampling started when generate_audio_codes was off (planner off). The converter had quantized the small tokenizer.audio_acoustic_proj layer (64 → 2048), which gets a transposed, non-contiguous input in that path, and comfy-kitchen's NVFP4 input quantizer needs a contiguous tensor. That one layer is now kept in bf16 (copied from the original bf16 weights); every other tensor is byte-identical to the first upload. Renders with the planner on are unchanged.

If you downloaded the file before this fix, download it again. New sha256:

e4a8b304367841ca3190c383005957d347f36110ff68749f4e26f803d0f43237 acestep_v1.5_xl_turbo_nvfp4.safetensors

How it was made

Converted with ComfyUI_Kitchen_nvfp4_Converter using its ACE-Step profile. Norms, biases, embedders and the output head stay bf16; the large linear layers are NVFP4.

Samples

45-second excerpts (from 1:00) of the same 4-minute song, rendered with the bf16 and NVFP4 models. Same seed, caption and lyrics, 8 steps, cfg 1.

bf16 vs NVFP4: loudness and average spectrum

Result: Average spectrum matches bf16 within about 1 dB. This is the closest pair of the family (waveform correlation 0.93 on a shared seed).

Same seed means the arrangement matches; the notes and mix still differ, so this is not a null test. The numbers come from the full 4-minute renders.

Caption

dreamy lo-fi electronic, hazy downtempo, hypnotic, nostalgic, melancholic, darkly funny, 82 bpm, A minor. Dusty swung breakbeat, brushed jazz snare, round sub bass, warm Rhodes piano, detuned music-box lead, warbling analog synth pads, tape wobble, vinyl crackle, faint tape hiss. Soft breathy female lead vocal, close-mic'd, double-tracked, whispered and half-spoken in the verses, lightly vocoder-tinted harmonies behind. Sparse and spacious, slowly evolving. Midway an abrupt math rock break in 7/8: angular clean-then-distorted guitars, tight syncopated drums, dry prog bass groove, tense and building, then it melts back into the lo-fi calm. Gentle sidechain pulse, wide stereo, analog warmth, ends on a spinning-down fan and music box.

Lyrics

[intro]

[verse]
two a.m., the fans are loud
tiny jets inside a cloud
i said "build it", it said "sure"
forty tabs, no clue what for
the tests are green, i'm not sure why
i never read the code, oh my

[pre-chorus]
something smells like summer here
something's glowing, orange and clear

[chorus]
my graphics card is burning slow
humming songs i don't know
every token turns to heat
vibe it till the lights go down
it's fine, it's fine, it's fine
a little smoke on my mind

[verse]
"make it clean and make it fast"
it built a maze that's built to last
merge conflict, morning light
a comment says "fix this tonight"
from a year ago, still there
a ghost that's sitting in my chair

[pre-chorus]
something smells like summer here
something's glowing, orange and clear

[chorus]
my graphics card is burning slow
humming songs i don't know
every token turns to heat
vibe it till the lights go down

[inst]

[bridge]
seven eight, seven eight
deploy on friday, don't be late
the warning light is blinking red
ask the model, it says "proceed"

[verse]
i name my errors like my pets
null pointer, not mad yet
the prompt was just one line
the answer was a town of mine

[chorus]
my graphics card is burning slow
humming songs i don't know
every token turns to heat
vibe it till the lights go down
and if it all goes dark tonight
i'll sit here in the glow and say
it works on my machine

[outro]

Notes

  • Lightly tested: one prompt and two seeds per model, planner on and off. Judge quality by ear.
  • Speed and VRAM, measured on an RTX 5080 (ComfyUI 0.37.0, comfy-kitchen 0.2.35, 10 s clip, 8 steps, cfg 1, model already loaded): planner off 1.4 s vs 1.2 s for bf16; planner on 3.0 s vs 4.8 s. The sampling steps themselves run slower than bf16 on short clips, so this is about VRAM and disk, not speed. Peak GPU memory for a planner-off render was about 5.2 GB vs 10.5 GB for bf16 (ComfyUI's dynamic VRAM uses whatever is free, so treat this as a rough guide). With the planner on, the 4B language model dominates and both fill a 16 GB card.

License is MIT, same as the original model. All credit to the ACE-Step team (ACE Studio and StepFun).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов
c03d915

0 моделей