/ Модель
Каталог

Характеристики

Лицензия
Apache 2.0
Базовая модель
MOSS-SoundEffect-v2.0
Библиотека
mlx
Опубликована
12 июн 2026

Ссылки

Hugging Face

MOSS-SoundEffect-v2.0-4bit

mlx-community
Генерация аудиоТекст → аудио

4-битная версия MOSS-SoundEffect-v2.0 в формате MLX генерирует звуковые эффекты длительностью до 30 секунд по текстовым описаниям.

0скачиваний за 30 дней0лайковвеса обновлены12 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MOSS-SoundEffect-v2.0-4bit — конвертированная в формат MLX 4-битная версия модели OpenMOSS-Team/MOSS-SoundEffect-v2.0 для генерации звуковых эффектов по текстовому описанию. Она предназначена для создания фоли, фоновой атмосферы, звуков существ и действий; модель выдаёт аудио с частотой 48 кГц длительностью до 30 секунд.

В основе — диффузионный конвейер с flow matching и DiT архитектурой в стиле Wan на 1,3 млрд параметров, непрерывный DAC VAE с 128-мерными латентами и замороженный текстовый энкодер Qwen3-1.7B. Линейные слои DiT квантизированы до int4 с размером группы 64; VAE хранится в fp32, а текстовый энкодер — в bf16. README сообщает о проверке совпадения с эталонной реализацией PyTorch.

Модель рассчитана на запуск через MLX и распространяется по лицензии Apache-2.0. Текстовый энкодер базовой модели рассчитан на английские и китайские запросы. Квантизация DiT может влиять на качество генерации по сравнению с исходной точностью; численные результаты проверки в README выглядят неполными, поэтому по ним нельзя оценить величину отклонения.

Сценарии применения

  • создание фоновой атмосферы для игр и видео
  • генерация звуков шагов, ударов и других действий
  • создание звуков существ и фантастических персонажей
  • генерация фоли для видеомонтажа
  • создание коротких звуковых эффектов по текстовому запросу

Ограничения

Модель предназначена для англоязычных и китайскоязычных текстовых запросов; поддержка других языков не подтверждена. Для запуска требуется MLX, а квантизация DiT до int4 может снижать качество относительно исходной версии.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

mlx-community/MOSS-SoundEffect-v2.0-4bit

This model mlx-community/MOSS-SoundEffect-v2.0-4bit was converted to MLX format from OpenMOSS-Team/MOSS-SoundEffect-v2.0 — a text-to-sound-effect diffusion pipeline (foley / ambience / creature / action audio, 48 kHz, up to 30 s) with a 1.3B Wan-style flow-matching DiT, a continuous 128-d DAC VAE (50 Hz latents), and a frozen Qwen3-1.7B text encoder.

Precision: DiT int4 (group_size 64, transformer-block Linears only — embeddings, time/text projections, head, and norms stay bf16), DAC-VAE fp32, Qwen3 text encoder bf16.

Use with mlx

pip install moss-sfx-mlx  # https://github.com/xocialize/moss-soundeffect-mlx

from moss_sfx_mlx.pipeline_mlx import MossSoundEffectPipeline

pipe = MossSoundEffectPipeline.from_pretrained("mlx-community/MOSS-SoundEffect-v2.0-4bit")
audio = pipe(prompt="a heavy wooden door creaks open slowly",
             seconds=5, num_inference_steps=100, cfg_scale=4.0, seed=0)
# audio: (1, 1, samples) mx.array at 48 kHz

Parity

Validated against the upstream PyTorch reference (fp32, CPU stream, per-module and end-to-end golden tensors; full suite in the GitHub repo):

  • End-to-end waveform vs PyTorch golden (10-step CFG denoise): max_abs < 1e-2 fp32

  • Full-DiT velocity field at production scale (T=1500): max_abs < 1e-2 fp32

  • DAC-VAE decode vs reference: max_abs < 1e-2 fp32 (no scale constant — the learned post_quant_conv is faithful)

  • Qwen3 hidden states: cosine 1.0, max_abs 4.4e-4 (fp32 accumulation floor)

  • int4 DiT per-pass cosine vs bf16 on identical injected inputs: 0.999425 (gate 0.99)

  • 10-prompt perceptual A/B at 100 steps: passed human review (correct content, duration, no tonal artifacts)

Performance (Apple M5 Max)

100 steps, cfg 4.0, full 30 s latent: 45 s wall clock, 12.2 GB peak memory; DiT shrinks 2.83 GB -> 0.83 GB.

License

Apache-2.0, matching the upstream model, code, and all components.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Ревизия весов
51d53e8

0 моделей

    Создать бенчмарк