/ Модель

Характеристики

Лицензия
Apache 2.0
Архитектура
voxcpm2 · dense
Базовая модель
VoxCPM2
Библиотека
mlx-audio
Опубликована
8 апр 2026

VoxCPM2-4bit

Синтез речиТекст → аудио3 профессии

4-битная MLX-версия VoxCPM2 для многоязычного синтеза речи, клонирования голоса и создания голосов по описанию.

882скачиваний за 30 дней13лайковвеса обновлены8 апр 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

mlx-community выпустило 4-битную MLX-версию VoxCPM2 — многоязычной модели синтеза речи OpenBMB с плотной архитектурой и 2 млрд параметров. Модель преобразует текст в речь с частотой дискретизации 48 кГц и поддерживает 30 языков, включая английский, китайский, индонезийский, японский и корейский. Репозиторий предназначен для запуска через библиотеку mlx-audio на Apple Silicon.

Модель поддерживает синтез речи без аудиореференса, продолжение аудио, клонирование голоса по короткому образцу и создание голоса по текстовому описанию. Квантизованы до 4 бит только слои LM; VAE и DiT оставлены в полной точности. По карточке, размер этой версии составляет 2,30 ГБ, а качество лишь минимально снижается относительно неквантизованной версии.

Лицензия — Apache 2.0. README указывает, что 4-битная версия самая компактная и быстрая из приведённых вариантов; результаты производительности относятся к Apple Silicon и зависят от оборудования и режима генерации.

Сценарии применения

  • синтез речи по тексту на поддерживаемых языках
  • клонирование голоса по короткой аудиозаписи
  • создание голоса по текстовому описанию
  • продолжение речи на основе аудиофрагмента

Ограничения

Версия квантизована до 4 бит только для слоёв LM; VAE и DiT остаются в полной точности. Данные о производительности приведены для Apple Silicon, а заявленное качество и скорость могут зависеть от конкретного устройства и настроек генерации.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

VoxCPM2 - 4-bit quantized

MLX port of openbmb/VoxCPM2 — a 2B-parameter multilingual TTS model with 48kHz studio-quality output, voice cloning, and voice design.

4-bit quantized (LM layers only, VAE/DiT at full precision). Fastest, smallest, with minimal quality loss.

Features

  • 30 languages — including English, Chinese, Indonesian, Japanese, Korean, and more
  • 48kHz output — studio-quality audio
  • Voice Design — create voices from text descriptions (no reference audio needed)
  • Voice Cloning — clone any voice from a short audio reference
  • 4 generation modes — zero-shot, continuation, reference cloning, combined

Usage

pip install mlx-audio

# Zero-shot
python -m mlx_audio.tts.generate --model mlx-community/VoxCPM2-4bit --text "Hello world" --verbose

# Voice design
python -m mlx_audio.tts.generate --model mlx-community/VoxCPM2-4bit \
  --text "Hello world" \
  --instruct "A young woman, gentle and sweet voice"

# Voice cloning
python -m mlx_audio.tts.generate --model mlx-community/VoxCPM2-4bit \
  --text "Hello world" \
  --ref_audio speaker.wav --ref_text "reference text"

Python API

from mlx_audio.tts import load_model

model = load_model("mlx-community/VoxCPM2-4bit")

# Generate
for result in model.generate(
    text="Hello, this is VoxCPM2 on Apple Silicon.",
    inference_timesteps=7,
    cfg_value=2.0,
):
    print(f"Duration: {result.audio_duration}")

Performance (Apple Silicon)

VariantSizeRTF (7 timesteps)
bf164.96 GB0.48x
8-bit3.23 GB0.85x
4-bit2.30 GB0.90x

RTF = Real-Time Factor (>1.0 = faster than realtime)

Original Model

Converted with mlx-audio.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx-audio

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Ревизия весов
dc9e5c1

0 моделей