llm-jp-4.1-32b-a3b-thinking for onw — Intel NPU だけで動く日本語 MoE
日本語 | English
llm-jp/llm-jp-4.1-32b-a3b-thinking を onw（俺のNPUがこんなに動くわけない）用に変換したモデルです。onw は LLM を Intel NPU だけで動かすエンジンで、このリポジトリにはモデルだけが入っています（エンジンは別にダウンロードします）。
国立情報学研究所（NII）の LLM-jp が日本語を中心に一から学習した思考型の MoE です。全体 32B のうち 1 トークンで使うのは約 3B（128 個のエキスパートから 8 個）で、llm-jp-4.1-8b より大きな知識を、8B と同じくらいの速さで使えます。
思考とツール呼び出し：llm-jp-4.1-8b と同じ harmony 形式で、必ず考えてから答えます。思考は思考モードのときだけ reasoning_content で返ります。思考も文字数上限に含まれるので、max_tokens は 300 以上にしてください。ツールは OpenAI 互換 API の tools で使えます。
元のモデルにより近い高精度版（エキスパート・アテンション INT8、30 GB、メモリ 32 GB 以上向け）は ryugyosoft/llm-jp-4.1-32b-a3b-thinking-int8-onw。
| NPU 3720（Core Ultra 9 285HX、メモリ 192 GB） | |
|---|---|
| 入力 | テキスト |
| 生成速度 | 5.8 tok/s |
| プロンプト処理 | 94 トークンで 6.5 秒 |
| ダウンロード | 16 GB |
| 使用メモリ | 約 17 GB（全部メモリに置いた場合） |
| 初回起動（NPU 向けコンパイル） | 約 7 分 |
メモリの少ない PC：エキスパートを SSD から読んで動きます。キャッシュ 8 GB で生成 3.4 tok/s（Lunar Lake 16 GB の実測）。
使い方
- onw（エンジン）1.2.0 以降を入れます（onw の「インストール」）。
- onw ウィンドウの「モデル」タブで llm-jp-4.1-32B-A3B-thinking を選び、「ダウンロード」を押します（16 GB）。
- 「サーバー」タブで「ロード」。あとは「チャット」や OpenAI 互換 API（
http://localhost:8000/v1）で使えます。
上級者向け：hf download ryugyosoft/llm-jp-4.1-32b-a3b-thinking-onw で取得したフォルダを onw serve フォルダ で起動できます。
仕組み
- 32 層それぞれを「前の層のエキスパート → この層のアテンション → ルーター」の区間にした静的グラフ。エキスパートはチャネル単位の INT4、アテンションはグループ 128 の INT4。出力層は INT8 の独立した区間です。
- エキスパートはグラフに焼き込まず、選ばれた 8 個だけを毎回 NPU に渡します（メモリが足りない PC では SSD から読みます）。
- 詳しくは onw の技術解説。
品質
元のモデル（bf16、CPU）と教師強制で比べると、300 トークンの日本語の回答で 270/300 トークンが一致、上位 5 候補のロジット差は平均 1.6。「日本の首都は？」には「日本の首都は東京です。」と答えます。
ライセンス
Apache 2.0（元モデルと同じ）。重みは元モデルから再量子化・再構成したものです。学習はしていません。