CuteTTS-jp
OPPOer/CuteTTS（約2億3千万パラメータ・24 kHz・ 逐次生成対応）を日本語 325.9 時間で継続学習したモデルです。
コードと学習手順: ayutaz/CuteTTS-jp
使い方
git clone https://github.com/ayutaz/CuteTTS-jp
cd CuteTTS-jp
uv sync --all-extras
hf download ayousanz/CuteTTS-jp --local-dir ./model/CuteTTS-jp
uv run python scripts/synthesize_japanese.py \
--model-dir ./model/CuteTTS-jp \
--text "価格は千二百八十円、消費税込みです。" \
--reference-audio <まねたい声の録音> \
--output out.wav
渡したテキストは、学習したときと同じ表記へ自動で書き換わります。 このモデルは「全文を片仮名にして、アクセントの山の位置に記号を付ける」表記で 学習しているので、こう変換されます。
frontend=accent
入力: 価格は千二百八十円、消費税込みです。
→ カカクワセ'ンニヒャクハチジュ'ーエン、ショーヒゼ'ーコミデス。
この書き換えを外すと精度が大きく落ちます。 下に載せた 7.12% は、この変換を
通して測った値です。どの表記で学習したかは config.json の
japanese_frontend に記録してあり、スクリプトがそれを読んで従うので、
ふつうは何も指定しなくて構いません（--frontend で上書きできます）。
漢数字も同時に開かれます（千二百八十円 → セ'ンニヒャクハチジュ'ーエン）。
記号の位置は同じ読みの語を書き分けます（ハシ' が橋、ハ'シ が箸）。
抑揚を写す
同じ台詞を読んだ人間の録音があれば、声の高さの動きを写せます（+0.104 改善）。
uv run python scripts/synthesize_japanese.py \
--model-dir ./model/CuteTTS-jp \
--text "..." \
--reference-audio <声質をまねる録音> \
--prosody-reference <同じ台詞を読んだ録音> \
--output out.wav
--reference-audio（声質）と --prosody-reference（抑揚）は別物で、両方渡せます。
別の文の録音を渡すとアクセントが悪化します。
測った値
日常会話 600 文。
| 学習前 | このモデル | 人間の録音 | |
|---|---|---|---|
| 文字の間違いの割合 | 35.86% | 16.39% | 10.42% |
| 読み間違いの割合 | 30.94% | 7.12% | 5.59% |
| 促音・撥音・長音・無声化の間違い | 46.9% | 2.43% | — |
| 話し終わらずに喋り続ける割合 | 3.2% | 0.5% | — |
「人間の録音」は本物の音声を同じ手順（自動文字起こし → 比較）に通した値で、 測定側の誤差です。これより良い値は出ません。
苦手なこと
- 抑揚とアクセントは人間に届いていません。 アクセントの山の位置が人間と 一致する割合は 43.6%（人間どうしなら 64.5%）
- 中国語は壊れています（文字誤り率 11.5% → 77.2%）。英語は無傷（単語誤り率 1.7%）
- 数字・日付・単位に弱いです。 学習データに数字を含む文が 1.3% しかありません
- 学習データはアニメ・ゲームの台詞なので、朗読ではなく演技寄りの話し方になります
学習の条件
| 出発点 | OPPOer/CuteTTS |
| データ | 日本語音声 325.9 時間 |
| 更新回数 | 30,000 回（1回あたり4文） / 学習率 2e-5 |
| テキスト変換 | accent（全文片仮名 + アクセントの記号） |
| 重みの形式 | fp32（bf16 のまま学習すると重みの 91% が動きません） |
| 所要 | RTX 3090 で約 1.4 時間 |
前処理済みデータを 2 GB ダウンロードすれば同じ学習を再現できます （手順）。
ライセンス
このモデル（重み）: CC BY-SA 4.0 — Copyright 2026 ayutaz
コード: Apache License 2.0 — ayutaz/CuteTTS-jp
出発点の CuteTTS （Copyright 2026 OPPO and Fudan University）は Apache License 2.0 です。
謝辞
CuteTTS / Descript Audio Codec / F5-TTS / Qwen3 / pyopenjtalk-plus