/ Модель

Характеристики

Лицензия
Apache 2.0
Опубликована
1 сен 2026

voxcpm2-models

Синтез речиТекст → аудио

VoxCPM2 — многоязычная модель синтеза речи с поддержкой клонирования голоса, переупакованная для использования в MAESTRO DAW.

9скачиваний за 30 дней0лайковвеса обновлены1 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это репозиторий с упакованными для инференса весами VoxCPM2 от OpenBMB, размещённый AEmotionStudio для загрузки чекпойнта в MAESTRO DAW. По README, веса не дообучались и не изменялись; репозиторий представляет собой копию модели openbmb/VoxCPM2 в формате safetensors. Модель предназначена для синтеза речи; метаданные также отмечают клонирование голоса и многоязычность. Указана лицензия Apache-2.0.

Сценарии применения

  • синтез речи из текста
  • клонирование голоса для озвучивания текста
  • генерация многоязычной речи для аудиопроектов

Ограничения

README описывает только переупаковку весов для инференса и не приводит сведений о качестве синтеза или поддерживаемых языках.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

VoxCPM2 — inference mirror for MAESTRO

Inference-ready repack of openbmb/VoxCPM2 (OpenBMB), kept by AEmotionStudio so the MAESTRO DAW can fetch the checkpoint on demand. The model is not fine-tuned or otherwise altered — this repo only repacks the upstream weights for loading:

  • model.safetensors — the 2B tokenizer-free diffusion-AR stack (LocEnc → MiniCPM-4 TSLM → RALM → LocDiT), verbatim from upstream (bf16 storage, sha256-checked; bf16 confirmed by MAESTRO's same-seed fp16-vs-bf16 whisper-gate against a seed-to-seed null baseline).
  • audiovae.safetensors — AudioVAE V2 (16 kHz encode → 48 kHz decode), converted from the pickled audiovae.pth via safetensors.save_model (the VAE uses weight_norm, whose weight_g/weight_v aliasing a bare save_file would corrupt).
  • config.json, tokenizer.json, special_tokens_map.json — verbatim.
  • tokenizer_config.json — verbatim minus the list-form extra_special_tokens key (crashes some transformers loaders; the tokens are already registered in tokenizer.json, so dropping the key is lossless).
  • upstream's tokenization_voxcpm2.py is omitted — inference loads a plain LlamaTokenizerFast; no trust_remote_code anywhere.
  • sha256.json — checksums of every file in this repo.
ComponentPurpose
model.safetensorsLocEnc + MiniCPM-4 2B TSLM + RALM + LocDiT
audiovae.safetensorsAudioVAE V2 (latents → 48 kHz mono waveform)
tokenizer filesLlamaTokenizerFast vocabulary + config

VoxCPM2 is a tokenizer-free diffusion-autoregressive TTS at native 48 kHz: 30 languages plus 9 Chinese dialects with no language tags, voice design from a text description, and three cloning tiers (reference clip / reference + style directive / reference + transcript).

License

  • Code: Apache-2.0 (OpenBMB/VoxCPM).
  • Weights (this repo): Apache-2.0 — inherited unchanged from upstream.

Credit for the model belongs entirely to the OpenBMB team; this mirror exists only for reliable on-demand delivery into MAESTRO.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура ? неизвестна transformers в образе рантайма.

Ревизия весов
db12ccc

0 моделей