/ Модель

Характеристики

Лицензия
Apache 2.0
Архитектура
voxcpm2 · dense
Базовая модель
VoxCPM2
Библиотека
mlx-audio
Опубликована
8 апр 2026

VoxCPM2-8bit

Синтез речиТекст → аудио3 профессии

Многоязычная 8-битная MLX-модель для синтеза речи, клонирования голоса и создания голосов по текстовому описанию.

3 014скачиваний за 30 дней9лайковвеса обновлены8 апр 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

VoxCPM2-8bit — 8-битная версия модели VoxCPM2, подготовленная сообществом mlx-community в формате MLX для запуска через mlx-audio на Apple Silicon. Это многоязычная модель синтеза речи с 2 млрд параметров и выходным аудио с частотой 48 кГц. Она поддерживает создание речи по тексту, клонирование голоса по короткому аудиофрагменту и создание голоса по текстовому описанию без образца. Доступны режимы синтеза с нуля, продолжения аудио и работы с голосовым образцом.

Квантизированы до 8 бит только слои языковой модели, а VAE и DiT сохранены в полной точности. По данным карточки, вариант занимает 3,23 ГБ и даёт почти двукратный прирост скорости относительно bf16; указанная скорость для Apple Silicon — 0,85x реального времени при семи шагах. Модель заявлена для 30 языков, включая английский, китайский, индонезийский, японский и корейский. Лицензия — Apache 2.0.

Сценарии применения

  • синтез речи по тексту на нескольких языках
  • клонирование голоса по короткой аудиозаписи
  • создание голоса по текстовому описанию
  • продолжение речи по аудиофрагменту

Ограничения

Версия предназначена для экосистемы MLX и запуска на Apple Silicon. Заявленная скорость 0,85x реального времени означает, что при указанных настройках синтез может быть медленнее воспроизведения.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

VoxCPM2 - 8-bit quantized

MLX port of openbmb/VoxCPM2 — a 2B-parameter multilingual TTS model with 48kHz studio-quality output, voice cloning, and voice design.

8-bit quantized (LM layers only, VAE/DiT at full precision). Best quality/speed tradeoff — nearly 2x faster, 35% smaller.

Features

  • 30 languages — including English, Chinese, Indonesian, Japanese, Korean, and more
  • 48kHz output — studio-quality audio
  • Voice Design — create voices from text descriptions (no reference audio needed)
  • Voice Cloning — clone any voice from a short audio reference
  • 4 generation modes — zero-shot, continuation, reference cloning, combined

Usage

pip install mlx-audio

# Zero-shot
python -m mlx_audio.tts.generate --model mlx-community/VoxCPM2-8bit --text "Hello world" --verbose

# Voice design
python -m mlx_audio.tts.generate --model mlx-community/VoxCPM2-8bit \
  --text "Hello world" \
  --instruct "A young woman, gentle and sweet voice"

# Voice cloning
python -m mlx_audio.tts.generate --model mlx-community/VoxCPM2-8bit \
  --text "Hello world" \
  --ref_audio speaker.wav --ref_text "reference text"

Python API

from mlx_audio.tts import load_model

model = load_model("mlx-community/VoxCPM2-8bit")

# Generate
for result in model.generate(
    text="Hello, this is VoxCPM2 on Apple Silicon.",
    inference_timesteps=7,
    cfg_value=2.0,
):
    print(f"Duration: {result.audio_duration}")

Performance (Apple Silicon)

VariantSizeRTF (7 timesteps)
bf164.96 GB0.48x
8-bit3.23 GB0.85x
4-bit2.30 GB0.90x

RTF = Real-Time Factor (>1.0 = faster than realtime)

Original Model

Converted with mlx-audio.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx-audio

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Ревизия весов
d527258

0 моделей