ERABI（えらび）

Jevっぽい「状況を読んで候補を選ぶ」動きを、GLiClassで再現してみたローカル判断エンジンです。Jevの公式版・内部実装の再現版ではありません。

状況 context、判断基準 question、2〜16個の choices を渡すと、全候補の確率分布を返します。会話のツール選択、ゲームNPCの行動、コマンド危険性分類などの実験向けで、文章生成やツール実行はしません。

約438MパラメータのGLiClass追加学習モデルです。日本語・英語・中国語を含むデータを使用し、PyTorch safetensors・CPU用ONNX FP32・GPU用ONNX FP16を配布しています。入力全体の上限は512トークンです。

GitHub・Pythonコード · 詳しい使い方 · 追加学習・データ形式

すぐに試す

Python 3.11以上が必要です。Windows PowerShellでCPU ONNXを使う例です。

py -3.12 -m venv .venv
.\.venv\Scripts\Activate.ps1
python -m pip install --upgrade pip
$env:HF_HUB_DISABLE_SYMLINKS = "1"  # Windowsで管理者権限なしのキャッシュを使用
python -m pip install torch --index-url https://download.pytorch.org/whl/cpu
python -m pip install erabi onnxruntime

Linux/macOSでは python3 -m venv .venv、source .venv/bin/activate に置き換えます。以下を sample.py に保存し、python sample.py で実行してください。

from time import perf_counter
from erabi.model_loader import load_engine
from erabi.schema import ChoiceRequest

print("モデルを読み込みます（初回はダウンロード）...", flush=True)
t = perf_counter()
engine = load_engine(device="cpu", revision="main")
print(f"初期化: {perf_counter() - t:.2f}秒 / {engine.model_format}")

request = ChoiceRequest.from_dict({
    "context": "ユーザーが今日の宮崎の天気を知りたいと言った。",
    "question": "次に使う機能を選んでください。",
    "choices": [
        {"id": "chat", "text": "雑談をする"},
        {"id": "web", "text": "Web検索する"},
        {"id": "image", "text": "イラストを作成する"},
    ],
})

print("推論します...", flush=True)
t = perf_counter()
result = engine.predict(request)
print(f"推論: {perf_counter() - t:.3f}秒")
print("選択:", result.best_candidate_id)
print("確率:", {c.id: round(c.probability, 4) for c in result.choices})

revision="main" を付けて、このページで公開しているモデルを選択してください。再現性が必要なら、末尾のweightsコミットIDを指定します。初回は必要なモデル形式だけダウンロードし、以後はキャッシュを再利用します。

GPU・モデル形式・保存先

NVIDIA GPUでは別の仮想環境を使い、サンプルを device="cuda:0" に変更します。RTX 5060 Tiで確認したCUDA 13構成は以下です。

python -m pip install torch==2.12.0 --index-url https://download.pytorch.org/whl/cu130
python -m pip install erabi onnxruntime-gpu==1.30.0

他の構成では環境に合うGPU用PyTorchとONNX Runtimeの対応表を確認してください。CPU版 onnxruntime とGPU版 onnxruntime-gpu は同じ環境に入れないでください。

形式・保存先は明示指定もできます。

engine = load_engine(
    device="cpu", model_format="onnx-fp32",
    revision="main", cache_dir="./model-cache",
)

形式は pytorch / onnx-fp32 / onnx-fp16、保存先は ERABI_MODEL_CACHE_DIR 環境変数でも指定できます。バッチ処理・CLI・ローカルHTTP APIは使い方を参照してください。

GPU自動選択は容量を抑えたFP16ですが、機種・入力によってはFP32の方が速くなります。load_engine(device="cuda:0", model_format="onnx-fp32", revision="main") でGPUのFP32も試せます。

ベンチマーク

共通150問の比較

ERABI・Laya・CLEF・CLEF Flash・Jev・GPT-6 Lunaを、同じ公開150問で比較した結果です（2026-10-07）。MASSIVEの日英中の意図分類96問と、XNLIの英中の文間関係54問が対象です。正答率は公開元ラベルとの一致率で、公式ベンチマークscoreや用途全般の性能保証ではありません。

この150問では、平均時間はERABI GPU ONNX FP16の28.80msが最短、正答数はJevとCLEF NF4の136/150（90.67%）が最多です。数問の差から一般的な優劣は断定できません。Layaは候補ID＋説明文と文章キーの2形式を分けています。

初期化・メモリ・費用

• 測定環境：RTX 5060 Ti 16GB、Ryzen 7 5800X、RAM 96GB。ローカルはbatch 1・8 warmups後、入力整形を含む推論時間です。APIは通信とサーバー処理を含む往復時間です。
• 初期化は保存済みweightsの読込・backend準備。Python起動・初回downloadは除外し、file cacheは消去していません。上のサンプルの初回初期化時間とは定義が異なります。
• VRAMは全GPUのsample peak−開始値で、モデル専有量ではありません。RAMはプロセスpeak RSS。APIサーバーの初期化・RAM/VRAMは不明です。
• CLEF 27Bの両形式とCLEF Flash BF16はCPU退避・GPUへのweights転送を併用し、専用の高速化kernelは未導入です。形式だけの速度比較や、大容量GPUでの性能を示すものではありません。
• API費用は測定時のusage×単価による推計です。ローカルの「なし」はAPI課金がないという意味で、電気代・機材費は未測定です。

入力は短文（ERABI tokenizerで61〜133 tokens）で、MASSIVEは16候補、XNLIは3候補です。独立した人手goldや事前学習との非重複は保証していません。長文・NPC・危険コマンドなどへ、この順位をそのまま適用しないでください。

p50/p95・カテゴリ別成績・モデル版・集計と図の再現 · 独自NPC/ゲーム制御/コマンド分類などの用途別評価

制限・ライセンス

• 状況・質問・全候補を整形した入力全体で512トークンまで。超過時は切り詰めずエラーにします。
• 出力は確認対象（review）で、確率は未校正です。高い確率は正解や安全を保証しません。
• FP16では丸め差によって近接した候補の順位が変わる場合があります。FP32との完全一致は保証しません。
• NPC判断やゲーム制御には用途別の検証が必要です。危険コマンド分類は実行許可の代わりにはならず、権限・パス・許可リストなど別の制御が必要です。
• モデルはGLiClass由来のApache-2.0、ERABIのPythonコードはMITです。

固定運用向けweightsコミット：67c587ca4c2a15586de306853410cd82dc81dbee（3形式共通）。revision="main" の代わりにこのIDを指定できます。