/ Модель
Каталог

Характеристики

Размер весов
111 МБ
Лицензия
Apache 2.0
Опубликована
6 сен 2026

Ссылки

Hugging Face

magenta-rt-2-qad-onnx

JustACluelessKidAtSchool
Обработка аудиоАудио → аудио

Набор квантованных ONNX-моделей Magenta RT 2 для интерактивной генерации музыки в браузере в реальном времени.

0скачиваний за 30 дней1лайквеса обновлены6 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Magenta RT 2 — Quantized Acoustic Distillation (QAD) ONNX — набор ONNX-моделей для генерации музыки в реальном времени, предназначенный для запуска в браузере через WebGPU или WASM SIMD. В карточке репозитория не указан разработчик модели.

Генератор использует архитектуру Depthformer: шесть временных и два глубинных слоя с 35,7 млн активных параметров. Он формирует акустические коды для каждого 40-миллисекундного кадра и принимает стилевые эмбеддинги MusicCoCa и векторы MIDI-аккордов и нот. Декодер SpectroStream преобразует коды в стереозвук PCM с частотой 48 кГц. Репозиторий также содержит готовые стилевые эмбеддинги для нескольких музыкальных жанров.

Модель рассчитана на клиентскую работу в браузерных музыкальных приложениях, включая генерацию фоновой музыки и интерактивное управление звучанием. Лицензия репозитория — Apache-2.0. Для работы нужны совместимые среды исполнения ONNX и аппаратная поддержка WebGPU либо WASM SIMD; заявленная скорость зависит от среды и устройства.

Сценарии применения

  • генерация фоновой музыки для потокового радио
  • создание музыкальных фрагментов по стилевым эмбеддингам
  • интерактивный джем с управлением MIDI-аккордами и нотами
  • генерация музыки в браузере без серверной обработки
  • создание атмосферной музыки для фокус-сессий

Ограничения

Для исполнения требуются среда ONNX и поддержка WebGPU или WASM SIMD; фактическая скорость зависит от устройства. В README заявлены возможности генерации, но не приведены независимые оценки качества или сравнения.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Magenta RT 2 — Quantized Acoustic Distillation (QAD) ONNX

This repository hosts the Quantized Acoustic Distillation (QAD) ONNX models for real-time neural music generation in the browser via WebGPU and WASM SIMD.

Architecture & Model Components

  1. authentic_student_generator_int8.onnx (64.0 MB):

    • Unrolled 12-codebook Depthformer student model (6 temporal layers, 2 depth layers, 35.7M active parameters).
    • Generates 12 hierarchical Residual Vector Quantizer (RVQ) acoustic codes causally per 40 ms frame in ~39 ms on CPU (~12 ms on WebGPU).
    • Conditioned on 768-dim MusicCoCa style embeddings and 128-element MIDI chord/note vectors.

  2. authentic_spectrostream_decoder_int8.onnx (41.9 MB):

    • Full 35.6M-parameter SpectroStream neural vocoder.
    • Converts 12 RVQ codes into 48 kHz stereo PCM audio via convolutional frame expansion, harmonic synthesis, and WebGPU/WASM-native MatMul IDFT overlap-add.

  3. style_embeddings.json (144 KB):

    • Precomputed 768-dimensional latent style vectors across curated genres: Lo-Fi, Chill-Hop, Smooth Jazz, Synthwave, Deep Ambient, Classical, Rock, Funk, and Cinematic.

Direct CDN & Download Links

  • authentic_student_generator_int8.onnx: https://huggingface.co/JustACluelessKidAtSchool/magenta-rt-2-qad-onnx/resolve/main/authentic_student_generator_int8.onnx
  • authentic_spectrostream_decoder_int8.onnx: https://huggingface.co/JustACluelessKidAtSchool/magenta-rt-2-qad-onnx/resolve/main/authentic_spectrostream_decoder_int8.onnx
  • style_embeddings.json: https://huggingface.co/JustACluelessKidAtSchool/magenta-rt-2-qad-onnx/resolve/main/style_embeddings.json

In-Browser Deployment

Designed for 100% client-side zero-backend browser execution in:

  • music_studio.html: Interactive live jam studio with prompt latent surface and keyboard steering.
  • focus_radio.html: Continuous endless AI radio stream with ambient soundscape mixer.
  • Models are cached into browser IndexedDB (CascadeOfflineMusicDB) on first download for permanent offline execution.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
54f81b9

0 моделей

    Создать бенчмарк