/ Модель

Характеристики

Лицензия
MIT
Архитектура
vibevoice · dense
Базовая модель
VibeVoice-1.5B
Библиотека
mlx
Опубликована
25 апр 2026

VibeVoice-1.5B-MLX-INT4

Синтез речиТекст → аудио4 профессии

Квантизированная версия VibeVoice-1.5B для генерации длинной английской и китайской речи, включая многоголосые диалоги, на Apple Silicon.

34скачиваний за 30 дней0лайковвеса обновлены25 апр 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

aufklarer/VibeVoice-1.5B-MLX-INT4 — пакет модели синтеза речи VibeVoice-1.5B в формате MLX для устройств Apple Silicon. Это INT4-квантизированная производная модели Microsoft VibeVoice-1.5B, рассчитанная на генерацию длинной речи: озвучивание аудиокниг, подкастов и диалогов с несколькими участниками. Модель поддерживает до четырёх голосов с сохранением их идентичности и может генерировать аудио длительностью до 90 минут за один проход.

Пакет содержит backbone Qwen2, акустический токенизатор и диффузионную голову; общий размер — 2,18 ГБ. Для использования предусмотрена интеграция со Swift-модулем VibeVoiceTTS. Указанная производительность на Apple M2 Max — 1,35× реального времени для тестового фрагмента. Поддерживаемые языки — английский и китайский; другие языки могут давать неразборчивую речь. Лицензия — MIT.

Сценарии применения

  • озвучивание длинных текстов и аудиокниг
  • генерация подкастов с несколькими голосами
  • создание диалоговых сцен с участием до четырёх голосов
  • озвучивание сценариев на английском языке
  • озвучивание сценариев на китайском языке

Ограничения

Модель рассчитана на английский и китайский языки; ввод на других языках может приводить к неразборчивому аудио. Для работы с вариантом 1.5B требуется dual-encoder voice prefill, поддерживаемый VibeVoiceTTS версии 0.2.0 и выше.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

VibeVoice-1.5B-MLX-INT4

INT4-quantized MLX bundle of the long-form Microsoft VibeVoice-1.5B for Apple Silicon, ready to load with the VibeVoiceTTS Swift module from soniqo/speech-swift.

The 1.5B variant is VibeVoice's flagship long-form model — designed for podcast-length dialogue, audiobook narration, and multi-speaker scenes. Up to 90 minutes of audio with up to 4 distinct voices and consistent voice identity throughout, in a single generation pass. For low-latency short utterances, see the smaller Realtime-0.5B INT4.

What's in the box

  • model.safetensors — INT4 group-quantized Qwen2 backbone (group_size=32, mode=affine), tokenizer + acoustic tokenizer + diffusion head + EOS classifier kept in source dtype
  • quantization.json — per-layer manifest (378 quantized layers)
  • config.json, preprocessor_config.json — copied from upstream

Bundle size: 2.18 GB.

Performance (Apple M2 Max, 64 GB)

StepsAudioElapsedRTFRTFx
1026.67 s19.76 s0.741.35×

200 max_tokens, 10 DPM-Solver steps, voice cache encoded from a 17-second clip. 1.5B requires the dual-encoder voice prefill path that's been added to VibeVoiceTTS 0.2.0+.

Use it

Swift / iOS / macOS

import VibeVoiceTTS

let config = VibeVoiceTTSModel.Configuration.longForm1_5B
// .longForm1_5B preset bumps maxSpeechTokens to 4000 and cfgScale to 1.5

let tts = try await VibeVoiceTTSModel.fromPretrained(configuration: config)
try tts.loadVoice(from: "voices/narrator.safetensors")
let pcm = try await tts.generate(text: longTranscript)  // up to ~90 min

The longForm1_5B preset uses tokenizer Qwen/Qwen2.5-1.5B. Override modelId if you want to point at this aufklarer bundle directly:

var config = VibeVoiceTTSModel.Configuration.longForm1_5B
config.modelId = "aufklarer/VibeVoice-1.5B-MLX-INT4"

CLI

audio vibevoice "Long paragraph ..." \
    --model aufklarer/VibeVoice-1.5B-MLX-INT4 \
    --tokenizer Qwen/Qwen2.5-1.5B \
    --voice-cache voices/narrator.safetensors \
    --max-tokens 4000 \
    --output episode.wav

Voice caches

Multi-speaker dialogue uses one voice cache per speaker — swap them between calls or wire dialogue scripts through your app. MIT-licensed example caches: mzbac/vibevoice.swift/voice_cache. Mint your own with audio vibevoice-encode-voice reference.wav "transcript" -o voice.safetensors.

Languages

English and Chinese only. The Qwen2.5 tokenizer accepts other languages but training data is EN/ZH only — non-EN/ZH input produces unintelligible audio.

License

MIT, inherited from the upstream Microsoft VibeVoice repo. Note: Microsoft has occasionally restricted access to the upstream microsoft/VibeVoice-1.5B repository — this bundle is converted from the BF16 source under MIT and remains available here.

Reproduction

models/vibevoice/export/convert.py in soniqo/speech-models (private), --model microsoft/VibeVoice-1.5B --bits 4.

Citation

@misc{microsoft_vibevoice,
  title  = {VibeVoice: Long-form, Multi-speaker Text-to-Speech},
  author = {Microsoft Research},
  year   = {2025},
  url    = {https://huggingface.co/microsoft/VibeVoice-1.5B}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Класс архитектуры
VibeVoiceForConditionalGeneration
Ревизия весов
2d3d69a

0 моделей