/ Модель

Характеристики

Лицензия
MIT
Библиотека
pytorch
Опубликована
21 июл 2026

SilentMetronome

Обработка аудиоАудио → аудио

SilentMetronome — набор PyTorch-чекпойнтов для потоковой генерации музыкального аккомпанемента, синхронизированного с битами.

0скачиваний за 30 дней0лайковвеса обновлены9 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SilentMetronome — набор предобученных чекпойнтов для потоковой генерации музыкального аккомпанемента, выровненного по битам. Модель разработана в рамках исследовательской работы; репозиторий Hugging Face содержит веса, а код, конфигурации обучения и полная документация размещены отдельно. В метаданных указаны PyTorch и лицензия MIT.

Модели обучены на Slakh2100 в течение 200 тысяч шагов. Генерация использует beat-phase conditioning и вспомогательный надзор; в наборе есть варианты с разными настройками видимости будущего и опережения. Чекпойнты предназначены для инференса, оценки и инициализации дообучения. Они сохранены только с весами: состояние оптимизатора удалено, поэтому продолжить исходную траекторию обучения нельзя.

Сценарии применения

  • создание аккомпанемента для входящего музыкального аудио в реальном времени
  • генерация бит-синхронного музыкального сопровождения
  • оценка потоковых систем музыкального аккомпанемента
  • инициализация дальнейшего обучения на основе готового чекпойнта

Ограничения

Обучение выполнено на Slakh2100, поэтому перенос на другие музыкальные стили и условия может быть ограничен. Веса не содержат состояния оптимизатора и не позволяют продолжить исходную траекторию обучения.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SilentMetronome — pretrained checkpoints

Trained checkpoints for SilentMetronome (paper), beat-phase conditioning and auxiliary supervision for beat-aligned streaming music accompaniment generation. The code, training configs, and full documentation live in the GitHub repository; this repo only hosts the weights.

All models are trained on Slakh2100 for 200k steps on a single A100 with the recipe in the paper. Checkpoints are weights-only Lightning checkpoints (optimizer states stripped), so they load for inference, evaluation, and warm-starting (--init_from_checkpoint) but cannot resume the original optimizer trajectory. Each folder pairs step=200000.ckpt with the exact args.yml the run was launched with, which is what load_lit_model reads to rebuild the architecture.

Models

The seven models correspond to Table I of the paper (Slakh2100 test split, 1024 windows, 1 s chunks, zero / 50 token look-ahead, oracle beat grid, mean over five sampling seeds).

FolderPaper rowBeat-FCoCoLaFAD
pref_dec_online_fv0_k50_beatBaseline0.13358.565.56
pref_dec_online_fv0_k50_aux_only_mp_cqt_tt_future+ Aux only (all heads)0.13357.935.46
pref_dec_online_fv0_k50_beat_phase_dit_no_phase+ Cond (tempo + time sig. only)0.14157.134.80
pref_dec_online_fv0_k50_beat_phase_dit+ SiMe (full cond)0.38060.034.25
pref_dec_online_fv0_k50_beat_phase_dit_mp_cqt_aux+ SiMe + Aux (pitch, spectrum)0.41160.363.96
pref_dec_online_fv0_k50_beat_phase_dit_mp_cqt_aux_tt_future+ SiMe + Aux + future head (headline)0.43260.844.38
pref_dec_online_fv50_k50_beatNon-causal ref. (fv = +50)0.26961.705.29

fv is the future-visibility offset in frames at the 50 Hz token rate (+50 = 1 s look-ahead, 0 = strictly causal). Full per-instrument, harmonic/percussive, and long-horizon drift breakdowns for every row are on the demo page.

Usage

# everything (~12.8 GB):
huggingface-cli download kevin-bretz/SilentMetronome --local-dir models/

# or a single model, e.g. the headline system:
huggingface-cli download kevin-bretz/SilentMetronome \
    --include "pref_dec_online_fv0_k50_beat_phase_dit_mp_cqt_aux_tt_future/*" --local-dir models/

Then follow the Evaluation section of the GitHub README, for example:

python scripts/gen_pred/gen_and_evaluate.py \
    --model_type prefix_decoder_online \
    --model_path models/pref_dec_online_fv0_k50_beat_phase_dit_mp_cqt_aux_tt_future/step=200000.ckpt \
    --split test \
    --num_samples 1024

The causal DAC codec weights are not included here, download them from lukewys/stream_music_gen as described in the GitHub README. The pinned x-transformers==2.16.0 is load-bearing, later 2.17.x releases silently break checkpoint compatibility.

Citation

If you use these checkpoints, please cite:

@misc{bretz2026silentmetronome,
  title         = {Silent Metronome: Rhythmic Grounding for Live Music Accompaniment},
  author        = {Bretz, Kevin and Soydaner, Derya and Plaat, Aske},
  year          = {2026},
  eprint        = {2609.07688},
  archivePrefix = {arXiv},
  primaryClass  = {cs.SD},
  url           = {https://arxiv.org/abs/2609.07688}
}

The underlying system is stream-music-gen by Wu et al., see the code repository for the full acknowledgement and citation.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
f1ddc86

0 моделей