/ Модель

Характеристики

Размер весов
163 МБ
Лицензия
MIT
Библиотека
rapidspeech.cpp
Опубликована
13 июн 2026

openvoice2-melo8k-zh-gguf

Синтез речиТекст → аудио3 профессии

GGUF-модель OpenVoice2 с голосом MeloTTS синтезирует китайскую речь с переключением на английский в монофоническом формате 8 кГц для телефонии и периферийных устройств.

16скачиваний за 30 дней0лайковвеса обновлены13 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Luigi выпустил GGUF-сборку китайского голоса MeloTTS на базе OpenVoice2 для синтеза речи в RapidSpeech.cpp. Модель объединяет акустическую модель OpenVoice2 для китайского языка и дистиллированный вокодер MeloTTS melo8k в один файл; это вариант той же 8-кГц озвучки, что и у репозитория Luigi/vits-melo-tts-zh_en-8k, но для среды ggml. Вывод — монофоническое аудио с частотой 8 кГц, рассчитанное на телефонию и работу на периферийных устройствах, в том числе Jetson Nano.

Модель предназначена для китайской речи с переключением между китайским и английским. Дистиллированный вокодер Vocos8k использует ConvNeXt с частотой кадров 125 Гц и головку iSTFT; в README указано около 3,7 млн параметров для вокодера. Выходная частота 8 кГц устраняет необходимость пересчёта частоты для телефонного аудио и снижает вычислительную нагрузку по сравнению с вокодером на 44,1 кГц. Для CPU README отмечает преимущество ONNX/sherpa-onnx варианта по скорости, а сильной стороной RapidSpeech.cpp на Jetson называет CUDA-бэкенд. Репозиторий и упаковка выпущены под лицензией MIT.

Сценарии применения

  • озвучивание китайских фраз в телефонных IVR-системах
  • синтез китайской речи с английскими вставками
  • генерация речевых подсказок для IP-АТС
  • синтез речи на Jetson Nano через CUDA
  • локальная генерация монофонического аудио 8 кГц

Ограничения

Модель ориентирована на монофонический речевой вывод с частотой 8 кГц и работу через RapidSpeech.cpp. Согласно README, на CPU вариант ONNX/sherpa-onnx работает быстрее.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

OpenVoice2 · MeloTTS ZH (8 kHz) — GGUF for RapidSpeech.cpp

A GGUF (ggml) build of the 8 kHz vocoder-distilled MeloTTS Chinese voice, for inference with RapidSpeech.cpp (a ggml-based unified speech framework). It is the ggml sibling of the ONNX model at Luigi/vits-melo-tts-zh_en-8k — same voice, same 8 kHz output, different runtime.

This is the merged artifact: OpenVoice2 base (ZH) acoustic model + the melo8k 8 kHz student vocoder, packaged as one GGUF so RapidSpeech.cpp can synthesize end-to-end.

Why 8 kHz

Built for telephony AI (the iPhO 2.0 edge IP-PBX on Jetson Nano). Phones capture and play 8 kHz mono, so a vocoder that natively outputs 8 kHz removes the resample and ~halves vocoder compute vs a 44.1 kHz model — the cost of a vocoder is per-output-sample.

The 8 kHz student is a Vocos8k distillation (ConvNeXt @ 125 Hz frame rate + iSTFT head, ~3.7 M params, PESQ-NB ≈ 2.90, MCD ≈ 10.8) of the full MeloTTS vocoder — ~10× cheaper, same voice / prosody / code-switching.

Model details

Architecture (gguf general.architecture)openvoice2
VoiceMeloTTS Chinese (ZH), zh-en code-switching
Output sample rate8 kHz mono
Vocodermelo8k — Vocos8k student (ConvNeXt + iSTFT, ~3.7 M params)
FormatGGUF (f32 merge), ggml runtime
Size~156 MB
RuntimeRapidSpeech.cpp (CPU + CUDA; gen1 Jetson sm_53 supported)

Usage (RapidSpeech.cpp)

# CPU
rs-tts-offline -m openvoice2-melo8k-zh.gguf \
  -t "您好,請問您要找哪一位同仁?" --lang Chinese -o out.wav --gpu false

# CUDA (e.g. Jetson Nano gen1)
rs-tts-offline -m openvoice2-melo8k-zh.gguf \
  -t "您好,請稍候,我幫您轉接。" --lang Chinese -o out.wav --gpu true

Language flag matters. Pass --lang Chinese — this voice is ZH-only. (In the ONNX/sherpa-onnx sibling the equivalent is --sid 1; the default English/speaker-0 path feeds the wrong embedding and produces silence.)

Output is 8 kHz mono PCM WAV — feed directly to a G.711 telephony leg, no resample.

Relationship to the ONNX model

This repo (GGUF)vits-melo-tts-zh_en-8k (ONNX)
RuntimeRapidSpeech.cpp (ggml)sherpa-onnx / ONNX Runtime
Role in iPhO 2.0ggml backup frameworkONNX primary framework
Output8 kHz mono8 kHz mono
Speaker selector--lang Chinese--sid 1

On CPU the ONNX/sherpa path is faster; RapidSpeech.cpp's advantage is the ggml CUDA backend on Jetson. Both produce the same 8 kHz voice.

Provenance

melo8k student distillation and the OpenVoice2 merge were produced locally for iPhO 2.0; the merge recipe (convert_melo8k_merge.py) lives in the RapidSpeech.cpp fork. Base voice © MeloTTS / MyShell OpenVoice2 (MIT). This packaging is released under MIT.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · rapidspeech.cpp

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов
a8735bf

0 моделей