Характеристики

Лицензия: Apache 2.0
Базовая модель: MOSS-SoundEffect-v2.0
Библиотека: mlx
Опубликована: 12 июн 2026

Ссылки

Hugging Face

MOSS-SoundEffect-v2.0-bf16

mlx-community

Генерация аудиоТекст → аудио

Конвертированная для MLX модель генерирует звуковые эффекты длительностью до 30 секунд по текстовым описаниям.

0скачиваний за 30 дней3лайкавеса обновлены12 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

mlx-community/MOSS-SoundEffect-v2.0-bf16 — конвертированная в формат MLX версия модели OpenMOSS-Team/MOSS-SoundEffect-v2.0 для генерации звуковых эффектов по текстовому описанию. Она предназначена для создания фоли, фоновой атмосферы, звуков существ и действий. Модель использует диффузионный конвейер text-to-audio с архитектурой Wan-style flow-matching DiT на 1,3 млрд параметров, аудиокодек DAC VAE и текстовый энкодер Qwen3-1.7B. Выход — аудио с частотой 48 кГц продолжительностью до 30 секунд; заявленная генерация проверена на примерах, прошедших человеческую оценку.

Веса DiT представлены в bf16, DAC VAE — в fp32, текстовый энкодер — в bf16. Репозиторий использует библиотеку MLX и лицензию Apache-2.0. README сообщает о проверке соответствия исходной реализации PyTorch и приводит производительность на Apple M5 Max: около 60 секунд на генерацию 30-секундного звука при 100 шагах и пиковом потреблении памяти 14,2 ГБ.

Сценарии применения

создание фоновой атмосферы для игр и видео
генерация звуков шагов, ударов и других действий
создание звуков животных и фантастических существ
генерация фоли для сцен и роликов
создание звуковых эффектов по текстовому запросу

Ограничения

По данным базовой модели, текстовые запросы рассчитаны на английский и китайский языки. На Apple M5 Max генерация 30-секундного аудио при 100 шагах занимает около 60 секунд и требует до 14,2 ГБ памяти.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

mlx-community/MOSS-SoundEffect-v2.0-bf16

This model mlx-community/MOSS-SoundEffect-v2.0-bf16 was converted to MLX format from OpenMOSS-Team/MOSS-SoundEffect-v2.0 — a text-to-sound-effect diffusion pipeline (foley / ambience / creature / action audio, 48 kHz, up to 30 s) with a 1.3B Wan-style flow-matching DiT, a continuous 128-d DAC VAE (50 Hz latents), and a frozen Qwen3-1.7B text encoder.

Precision: DiT bf16, DAC-VAE fp32 (the reference decodes under fp32 autocast), Qwen3 text encoder bf16.

Use with mlx

pip install moss-sfx-mlx  # https://github.com/xocialize/moss-soundeffect-mlx

from moss_sfx_mlx.pipeline_mlx import MossSoundEffectPipeline

pipe = MossSoundEffectPipeline.from_pretrained("mlx-community/MOSS-SoundEffect-v2.0-bf16")
audio = pipe(prompt="a heavy wooden door creaks open slowly",
             seconds=5, num_inference_steps=100, cfg_scale=4.0, seed=0)
# audio: (1, 1, samples) mx.array at 48 kHz

Parity

Validated against the upstream PyTorch reference (fp32, CPU stream, per-module and end-to-end golden tensors; full suite in the GitHub repo):

End-to-end waveform vs PyTorch golden (10-step CFG denoise): max_abs < 1e-2 fp32
Full-DiT velocity field at production scale (T=1500): max_abs < 1e-2 fp32
DAC-VAE decode vs reference: max_abs < 1e-2 fp32 (no scale constant — the learned post_quant_conv is faithful)
Qwen3 hidden states: cosine 1.0, max_abs 4.4e-4 (fp32 accumulation floor)
10-prompt perceptual A/B at 100 steps: passed human review (correct content, duration, no tonal artifacts)

Performance (Apple M5 Max)

100 steps, cfg 4.0, full 30 s latent: 60 s wall clock, 14.2 GB peak memory.

License

Apache-2.0, matching the upstream model, code, and all components.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Ревизия весов: 71a08a4