llm-jp-4-kappa-32b-a3b-v0.1

llm-jp-4-kappa-32b-a3b-v0.1 は、Third-intelligence が研究開発の一環で試作した日本語・英語対応の Thinking 型大規模言語モデルです。llm-jp/llm-jp-4-32b-a3b-thinking をベースに、

• Reasoning(思考プロセスの生成)能力を強化するための SFT (Supervised Fine-Tuning)
• 数学・コード領域における 強化学習 (Reinforcement Learning) の 2 段階の追加学習を行い、ベースモデルが持つ日本語性能を維持しつつ、推論・数学・コーディング能力の向上を目指しました。

ベースモデルと同様、Mixture-of-Experts (MoE) アーキテクチャ(総パラメータ約 32B / activated 約 3B)を採用しているため、同規模の dense モデルと比較して推論時の計算コストを抑えつつ、高い性能を発揮します。

詳細については技術ブログを参照ください。

モデル概要

ベンチマーク

評価には swallow-llm/swallow-evaluation-instruct を使用しました(OpenRouter 経由でモデルが使用できるよう、一部修正を加えました。）

また、OpenRouter でデプロイされているモデルについては、serving しているプロバイダーの設定により量子化などが行われており、本来のフルプレシジョン版から性能が劣化している可能性があります。ただし、評価にあたっては OpenRouter 側の設定で可能な限り高いパフォーマンスとなるよう Exacto の設定を有効にしました。

LLM-as-a-judgeが必要になるベンチマークについては評価モデルにopenai/gpt-4.1を使用しました。（プロバイダーはAzureに固定しています。）

比較対象モデル

サマリー(主要スコア)

太字 は各行の最高スコアを示します。

Japanese MT-Bench(カテゴリ別)

English MT-Bench(カテゴリ別)

MMLU ProX Japanese / MMLU Pro English(科目別)

使い方

必要環境

• GPU: 推奨 A100 80GB ×2 以上 / H100 80GB ×2 以上(bfloat16・MoE expert parallel 動作時)
  • 単一 80GB GPU でも tensor-parallel-size=1 で動作可能ですが、KV キャッシュ確保のため --max-model-len を下げる必要がある場合があります。
• CUDA 12.4+
• Python 3.10+

1. transformers での推論

HuggingFace transformers ベースのパイプラインに組み込みたい場合は、以下のように直接ロードして使用できます。なお transformers から直接生成すると、出力には思考プロセス用の特殊トークン(<|channel|>analysis や <|channel|>final など)がそのまま含まれるため、思考と最終回答を分離して扱いたい場合は前述の vLLM + cookbook 構成を利用するか、出力をパースしてください。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "third-intelligence/llm-jp-4-kappa-32b-a3b-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
)

messages = [
    {"role": "user", "content": "日本の宇宙開発の歴史について教えてください。"},
]

# chat_template により思考用プロンプトが付与されます
input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt",
).to(model.device)

with torch.no_grad():
    output_ids = model.generate(
        input_ids,
        max_new_tokens=4096,
        do_sample=True,
        temperature=0.7,
        top_p=0.95,
        pad_token_id=tokenizer.eos_token_id,
    )

generated = output_ids[0][input_ids.shape[-1]:]
print(tokenizer.decode(generated, skip_special_tokens=False))

2. vLLM での推論(推奨)

LLM-jp-4 系のモデルは、独自の Reasoning フォーマット(<|channel|>final などの特殊トークンによる思考プロセス出力)を採用しているため、素の vLLM ではそのまま正しく serve することができません。公式の llm-jp/llm-jp-4-cookbook を利用することが推奨されています。

セットアップ

# 1. vLLM 0.17 以降をインストール
pip install "vllm>=0.17.0"

# 2. LLM-jp-4 cookbook を clone
git clone https://github.com/llm-jp/llm-jp-4-cookbook.git
cd llm-jp-4-cookbook/llmjp4_vllm

vLLM サーバの起動

python example_cli.py serve third-intelligence/llm-jp-4-kappa-32b-a3b-v0.1 \
  --host 0.0.0.0 \
  --port 8000 \
  --served-model-name llm-jp-4-kappa \
  --trust-remote-code \
  --dtype bfloat16 \
  --tensor-parallel-size 2 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 65536 \
  --reasoning-parser llmjp4 \
  --enable-expert-parallel

主なオプションの意味:

トラブルシュート: RuntimeError: Already borrowed 環境によっては、reasoning parser の初期化時に tokenizer の競合により上記エラーが発生することがあります。その場合は cookbook 内 llmjp4_reasoning_parser.py の以下 2 行を、tokenizer.encode を経由しない形に置き換えてください。

# Before
self._reasoning_end_prefix = tokenizer.encode("<|channel|>final")
self._reasoning_prefill = tokenizer.encode("<|start|>assistant")

# After
self._reasoning_end_prefix = [9, 2520]
self._reasoning_prefill = [10, 12811]

OpenAI 互換 API で叩く

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llm-jp-4-kappa",
    "messages": [
      {"role": "user", "content": "整数 a, b が a^2 + b^2 = 50 を満たすとき、(a, b) の組み合わせを全て求めてください。"}
    ],
    "max_tokens": 4096,
    "temperature": 0.7
  }'

Python (OpenAI SDK) からも同様に呼び出せます。--reasoning-parser llmjp4 を有効にしているため、思考プロセスは reasoning_content フィールドに、最終回答は content フィールドに分離されて返ります。

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")

resp = client.chat.completions.create(
    model="llm-jp-4-kappa",
    messages=[
        {"role": "user", "content": "再帰関数を使ってフィボナッチ数列の n 番目の値を返す Python 関数を書いてください。"}
    ],
    max_tokens=4096,
    temperature=0.7,
)

msg = resp.choices[0].message
print("=== 思考プロセス ===")
print(getattr(msg, "reasoning_content", ""))
print("=== 最終回答 ===")
print(msg.content)

注意事項

本モデルは 研究目的で公開されているモデル です。出力の正確性・安全性・倫理性は保証されず、事実と異なる内容(ハルシネーション)や不適切な内容を生成する可能性があります。商用利用やミッションクリティカルな用途での使用は想定していません。本モデルの利用により生じたいかなる損害についても開発者は責任を負いません。ライセンスはベースモデル(llm-jp/llm-jp-4-32b-a3b-thinking)の条件も併せて確認・遵守してください。

ライセンス

本モデルは Apache License 2.0 のもとで公開されます。ベースモデル llm-jp/llm-jp-4-32b-a3b-thinking のライセンス・利用規約も併せて遵守してください。

謝辞

• ベースモデルを公開してくださっている LLM-jp プロジェクト
• データを公開してくださっているNVIDIA
• 評価フレームワーク swallow-llm/swallow-evaluation-instruct を公開してくださっている Swallow プロジェクト

をはじめとする皆様に最大の感謝を申し上げます。

引用

@misc{llm-jp-4-kappa-32b-a3b-v0_1,
  title  = {llm-jp-4-kappa-32b-a3b-v0.1},
  author = {third-intelligence},
  year   = {2026},
  howpublished = {\url{https://huggingface.co/third-intelligence/llm-jp-4-kappa-32b-a3b-v0.1}}
}