Характеристики

Лицензия: Apache 2.0
Базовая модель: Confucius4-TTS
Опубликована: 22 авг 2026

Ссылки

confucius4-tts-GGUF

Синтез речиТекст → аудио3 профессии

Confucius4-TTS GGUF — это конвертация модели Confucius4-TTS, разработанной NetEase Youdao, для нативного запуска в среде CrispASR.

3 842скачиваний за 30 дней4лайкавеса обновлены25 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для синтеза речи из текста и zero-shot клонирования голоса по референсной аудиозаписи, включая сценарии многоязычного TTS.

Архитектура состоит из трёх этапов: GPT-2 для преобразования текста в семантические представления с кондиционированием диктора через ECAPA-TDNN и признаки w2v-BERT, flow-matching DiT+WaveNet для преобразования семантики в акустическое представление с использованием CAMPPlus и reference-mel prompt, а также вокодер BigVGAN с частотой дискретизации 22,05 кГц. Доступны языки zh, en, ja, ko, de, fr, es, it, pt, ru, vi, th, id и ms. Контекстная длина не указана.

Преимущества модели — zero-shot клонирование голоса, многоязычность и наличие нескольких вариантов GGUF-квантизации. T2S-варианты имеют размер от 376 МБ до 1,27 ГБ, S2A — от 135 до 213 МБ; также доступен F16-вокодер размером 214 МБ. Ограничения, требования к производительности и подробности качества синтеза в README не указаны. Конвертация распространяется по лицензии Apache-2.0; используемые CAMPPlus и BigVGAN имеют отдельные указания об источниках и лицензиях, включая MIT для BigVGAN.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.9Универсальные способностиАудио и музыкаAI помогает анализировать, очищать, преобразовывать и создавать звук и музыку.15 задач4 835моделей I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Confucius4-TTS — GGUF for CrispASR

GGUF conversions of netease-youdao/Confucius4-TTS (Apache-2.0) for the CrispASR native runtime.

Confucius4-TTS is a zero-shot voice-cloning TTS: a GPT-2 text→semantic stage (T2S, with ECAPA-TDNN speaker conditioning on w2v-BERT features), a flow-matching DiT+WaveNet semantic→acoustic stage (S2A, with CAMPPlus style conditioning and a reference-mel prompt), and a BigVGAN 22.05 kHz vocoder.

File	Stage	Quant	Size
`confucius4-tts-t2s-f16.gguf`	T2S	F16	1.27 GB
`confucius4-tts-t2s-q8_0.gguf`	T2S	Q8_0	685 MB
`confucius4-tts-t2s-q4_k.gguf`	T2S	Q4_K	376 MB
`confucius4-tts-s2a-f16.gguf`	S2A (+ CAMPPlus)	F16	213 MB
`confucius4-tts-s2a-q8_0.gguf`	S2A (+ CAMPPlus)	Q8_0	162 MB
`confucius4-tts-s2a-q4_k.gguf`	S2A (+ CAMPPlus)	Q4_K	135 MB
`confucius4-tts-bigvgan-22k-f16.gguf`	Vocoder	F16	214 MB

The T2S GGUFs carry the baked LlamaTokenizer vocab+merges; the S2A GGUFs carry the funasr/campplus style encoder under campplus.*. BigVGAN is nvidia/bigvgan_v2_22khz_80band_256x (MIT).

Usage:

crispasr --backend confucius4-tts -m confucius4-tts-t2s-q4_k.gguf \
  --codec-model confucius4-tts-s2a-q4_k.gguf \
  --tts "The quick brown fox jumps over the lazy dog." -l en \
  --voice ref.wav --i-have-rights --tts-output out.wav

Credits: NetEase Youdao (Confucius4-TTS, Apache-2.0); FunASR/ModelScope (CAMPPlus); NVIDIA (BigVGAN).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов: aa01718