IndexTTS-2.5 GGUF（Q5/Q8 混合量化）

IndexTeam/IndexTTS-2.5 的 GGUF 量化转换，给 audio.cpp 用：audiocpp_cli --family index_tts2。

Any modifications made to the original model in this Derivative Work are not endorsed, warranted, or guaranteed by the original right-holder of the original model, and the original right-holder disclaims all liability related to this Derivative Work.

本页数字全部来自本机实测，不是官方 IndexTTS 论文数字。量化 没有重新训练。

1. 体积与显存（先看这个）

硬件：NVIDIA GeForce RTX 5070 Ti 16 GB，驱动 595.97，audio.cpp v0.7.1 CUDA 13.3。
原版：同一台机器、同一条参考音 ja_ref.wav、PyTorch FP16（IndexTTS2）。

显存口径（GGUF）：合成子进程跑起来之后，每 200 ms 读一次 nvidia-smi --query-gpu=memory.used，取峰值，再减去当时 Python 进程里已有的 torch.cuda.memory_allocated()（评测用的 ASR/MOS 模型）。这是 这块 5070 Ti 上、这条 GGUF 自己多占的板载显存，不是 PyTorch allocator。

原版显存：本轮对比 没有 可用的板载隔离数字。不要把「None」理解成原版更省。

2. 量化配方

3. 对比协议（两套，都要看）

同一参考音、克隆模式、seed=42。CER 用日语/中/英 ASR；MOS 为 UTMOS；音色为说话人嵌入余弦相似。RTF = 墙钟合成时间 / 音频时长（含模型加载后的单句时间，首句会偏慢）。

日语 language=ja 时 audiocpp 会把拉丁词收成片假名。本仓库推荐推理时把 ≥4 字母或连续英文词拆成 language=en 再拼 wav。这是 前端拆句，不是量化训练。

4. 总表：原版 FP16 vs 本 GGUF（CUDA）

越低越好：CER、RTF、显存。越高越好：MOS、音色相似。

4.1 套件 A · bench 8 句（克隆）

差值（GGUF − 原版）：CER −0.0417，MOS −0.146，音色 +0.014，RTF −3.003。
A 套 CER 优势几乎全来自 bench_ja_mixed（适配器拆句）；不要单独拿 A 套平均 CER 宣传「量化更准」。

稳定性（4 句 × 3 次，指标标准差，越小越稳）：

4.2 套件 B · hold-out 16 句（未见过，泛化）

差值（GGUF − 原版）：CER −0.0081，MOS −0.081，音色 −0.007，RTF −2.024。

分桶 CER：

稳定性（2 句 × 2 次 std）：原版 MOS std 0.084；GGUF 各项 std 为 0。

4.3 CPU GGUF（不要当正式速度）

同一 8 句 bench、当时 --backend cpu：原版 RTF 7.38，GGUF RTF 15.32。量化版必须走 CUDA。

5. 套件 A 逐条（bench）

mixed 原文：このアプリはAIでvoice cloneができて、本当に便利です。
原版这轮 ASR 把 English 听成片假名；GGUF 拆成 ja/en 后 CER=0。这条 调过适配器，泛化请看套件 B。

6. 套件 B 逐条（hold-out）

短拉丁弱点：句首 OK 不足 4 字母，拆句规则没拆走，GGUF 前端按日语处理，CER 高于原版。

7. 怎么跑（必须 CUDA）

下载 audio.cpp v0.7.1 的 audio-v0.7.1-bin-windows-x64-cuda13.3.zip + 对应 cudart。

audiocpp_cli.exe --task tts --family index_tts2 --model index-tts2_5-2060-textq8.gguf --backend cuda --device 0 --mode offline --request-sequence sequence.json --out-dir out

[
  {
    "id": "s0",
    "text": "こんにちは。",
    "language": "ja",
    "voice_ref": "prompt.wav",
    "seed": 42
  }
]

建议显卡预留 ≥ 8 GiB 空闲显存（本机峰值约 7.4 GiB，再加驱动/其它进程余量）。

8. 结论（按测量写）

• 速度：5070 Ti 上 GGUF CUDA RTF 约 5.2–5.4，原版约 7.5–8.2。
• 显存：GGUF 实测 6.6–7.4 GiB；原版本机未测到可比数字。
• 音质：MOS 原版略高约 0.08–0.15；音色接近。
• 内容：未见过纯日语和长英文夹杂与原版同级或更好；短拉丁、中文原版更好。数字句 CER 高是 ASR 记数方式，两边一样。
• 不要用 CPU 包跑这份 GGUF 再拿 RTF 15 去对比原版 GPU。

License

与基座相同：bilibili Model Use License Agreement。禁止用本转换去改进无关商用模型（许可证 §3.4.c）。