Lumi-v2-llm-jp-4-8b
Lumi-v2-llm-jp-4-8b は、llm-jp/llm-jp-4-8b-base に対し、ChatML ベースのチャットテンプレートを用いて、約 1.7B トークンの事後学習データを用いて SFT を実施したモデルです。
学習データ
SFTには、次の公開データセットおよび自作データを用いました。
| データセット | ライセンス |
|---|---|
| llm-jp/llm-jp-4-thinking-sft-data | 複数(データセットカード参照) |
| nvidia/Nemotron-SFT-Multilingual-v2(日本語サブセット) | データセットカード参照 |
| nvidia/Nemotron-SFT-Agentic-v2 | CC BY 4.0 |
| nvidia/Nemotron-SFT-ARC-AGI-v1 | CC BY 4.0 |
| nvidia/Nemotron-SFT-Science-v2 | CC BY-SA 4.0 |
| nvidia/Open-SWE-Traces | CC BY 4.0 |
| nvidia/Nemotron-SFT-Instruction-Following-Chat-v3 | CC BY 4.0 / ODC-BY |
| nri-ai/nri-fin-reasoning | CC BY 4.0 |
| OpenResearcher/OpenResearcher-Dataset | MIT |
| SousiOmine/codeqa-agent-distill-ja シリーズ(260703 / 260704 / 260705 / 260709) | Apache 2.0 |
謝辞
ベースモデルを公開している LLM-jp と、学習データを公開している各組織に感謝します。学習は千葉工業大学の GPGPU 計算環境を利用して実施しました。