jinen-v2-small (GGUF)
かな漢字変換モデル jinen v2 の GGUF 版 (small / 109.5M)。 NFKC 前提のモデルなので、プロンプトは NFKC 正規化して投げること。
AJIMEE-Bench
azooKey/AJIMEE-Bench JWTD_v2/v1
200 問、greedy。
| ファイル | サイズ | Accuracy@1 | Accuracy@1 (NFKC) | p50 | p90 | p99 |
|---|---|---|---|---|---|---|
jinen-v2-small-f16.gguf | 220 MB | 80.0% | 86.0% | 61 ms | 147 ms | 233 ms |
jinen-v2-small-Q8_0.gguf | 117 MB | 80.5% | 86.5% | 44 ms | 100 ms | 146 ms |
jinen-v2-small-Q5_K_M.gguf | 81 MB | 80.0% | 86.0% | 48 ms | 111 ms | 171 ms |
jinen-v2-small-Q4_K_M.gguf | 72 MB | 79.5% | 85.5% | 38 ms | 86 ms | 131 ms |
NFKC 列は参照側にも NFKC を掛けたもの。
llama.cpp b10200 (CPU, 4 threads)、n_ctx 1024、左文脈 64 文字。
参考: 変換元の HF 版 (PyTorch) は exact 80.5% / NFKC 86.5%。
使い方
llama-server -m jinen-v2-small-Q5_K_M.gguf --temp 0 --top-k 1
プロンプト形式は jinen-v1 と同じで、 特殊トークンで組み立てる。
| トークン | 役割 |
|---|---|
\uee00 | 入力 (読み) の開始 |
\uee01 | 出力 (変換結果) の開始 |
\uee02 | 左文脈の開始 |
import unicodedata
INPUT_START, OUTPUT_START, CONTEXT = "\uee00", "\uee01", "\uee02"
prompt = f"{CONTEXT}{context}" if context else ""
prompt += f"{INPUT_START}{reading}{OUTPUT_START}"
prompt = unicodedata.normalize("NFKC", prompt) # 必須。入れないと精度が大きく落ちる
\uee01 以降を変換結果として読み、必ず greedy (--temp 0 --top-k 1) で使うこと。
出典
学習コーパスの一部として、国立国会図書館の書誌データを加工しました。
出典：国立国会図書館「全国書誌データ」（2026年7月9日に取得）および 国立国会図書館サーチの書誌データを加工して作成
加工および本モデルの作成は Hitoshi Togasaki によるものであり、 国立国会図書館が作成・提供・保証するものではありません。