Характеристики

Лицензия: Apache 2.0
Архитектура: midashenglm-gen · dense
Библиотека: safetensors
Опубликована: 31 авг 2026

Ссылки

Hugging Face arXiv 2608.11804

midashenglm-gen-models

AEmotionStudio

Генерация аудиоТекст → аудио

MiDashengLM-Gen создаёт короткие смешанные аудиосцены из структурированных текстовых описаний.

5скачиваний за 30 дней0лайковвеса обновлены31 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MiDashengLM-Gen — копия модели mispeech/midashenglm-gen, опубликованная AEmotionStudio для загрузки по запросу в MAESTRO. Модель разработана MiLM Plus (Xiaomi) и генерирует монофонические аудиосцены с частотой 16 кГц длительностью от 1 до 20 секунд по структурированному многоплановому текстовому описанию. В одном проходе она объединяет речь, музыку, звуковые эффекты и фоновую атмосферу.

В основе — Qwen3-1.7B, условный flow matching для каждого токена и вокодер Vocos. В репозитории веса Safetensors, возможно приведённые к bf16; README описывает проверку точности и совместимости этой копии, закреплённый токенизатор и использование inference-кода MAESTRO без remote code. Модель распространяется по лицензии Apache-2.0. Язык описаний и длина контекста в доступных сведениях не установлены.

Сценарии применения

создание фоновой атмосферы для видеосцен
генерация аудиосцены с речью и музыкой
добавление звуковых эффектов по текстовому описанию
создание монофонических звуковых клипов длительностью 1–20 секунд

Ограничения

Генерирует монофоническое аудио 16 кГц длительностью 1–20 секунд. Язык текстовых описаний в карточке не уточнён.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MiDashengLM-Gen — MAESTRO mirror

Mirror of mispeech/midashenglm-gen (Xiaomi MiLM Plus, Apache-2.0, arXiv:2608.11804) maintained by AEmotionStudio for download-on-demand use inside MAESTRO.

MiDashengLM-Gen generates blended 16 kHz mono audio scenes — speech, music, sound effects and ambience in one pass — from a structured multi-view caption (<|caption|> <|asr|> <|speech|> <|sfx|> <|music|> <|env|>), 1–20 s, via Qwen3-1.7B + per-token conditional flow matching + a Vocos vocoder.

Differences from upstream

Precision: weights may be cast fp32 → bf16 (one model.safetensors); NOTICE records the payload precision and per-file sha256 digests. Upstream fp32 was sha256-verified against the hub before casting, and a bf16 payload is published only after an A/B parity pass on GPU.
Bundled tokenizer: tokenizer/ carries the Qwen3-1.7B tokenizer + config pinned at the revision recorded in tokenizer/tokens_added.json (upstream fetches it from the network, unpinned, at construction time). tokens_added.json also records the 28 special tokens appended in training order — loader drift fails loudly instead of generating noise.
No remote code: the modeling_*.py trust-remote-code files are not mirrored; MAESTRO vendors the inference code (Apache-2.0) in-tree.

License

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · safetensors

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры: MiDashengLMGenForAudioGeneration
Ревизия весов: bec5db7