c4ai-command-r-v01-japanese-instruct
GGUF版はこちら/Click here for the GGUF version
概要
CohereForAI/c4ai-command-r-v01を、ichikara-instructionを使って追加で日本語インストラクションチューニングを施したモデルです。
学習の設定
RunpodでGPUサーバを借り、A6000x4で学習を行いました。主な学習パラメータは以下の通りです。
- lora_r: 64
- lisa_alpha: 128
- lora_dropout: 0.05
- lora_target_modules: ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"]
- learning_rate: 2e-5
- num_train_epochs: 10epochs
- batch_size: 50
- max_seq_length: 2048
評価
jsquad(jsquad-1.1-0.3, 2-shots)、jcommonsenseqa(jcommonsenseqa-1.1-0.3, 3-shots)、jnli(jnli-1.3-0.3, 3-shots)、marc_ja(marc_ja-1.1-0.3, 3-shots)結果は以下の通りです。 （8ビット量子化/jsquadは100で割り、それぞれ小数点以下第4位を四捨五入）
平均スコアの向上が見受けられます。
| Model | jsquad(exact_match) | jcommonsenseqa(acc) | jnli(acc) | marc_ja(acc) | average |
|---|---|---|---|---|---|
| c4ai-command-r-v01 | 0.809 | 0.902 | 0.466 | 0.954 | 0.783 |
| c4ai-command-r-v01-japanese-instruct | 0.836 | 0.911 | 0.537 | 0.940 | 0.806 |
評価にはlm-evaluation-harnessを利用しました。
また、元モデルと本モデルのjapanese-mt-benchの結果は以下の通りです。（シングルターン、4ビット量子化）
スコア的にはあまり変わりませんでした。ただし、元モデルの出力の中には時々英語が混ざっていましたが、目視で確認した範囲だと混ざらなくなっていたので学習の効果は多少はありそうです。
| Model | Coding | Extraction | Humanities | Math | Reasoning | Roleplay | STEM | Writing | avg_score |
|---|---|---|---|---|---|---|---|---|---|
| c4ai-command-r-v01 | 6.1 | 7.9 | 9.7 | 2.4 | 6.0 | 8.3 | 9.8 | 8.6 | 7.35 |
| c4ai-command-r-v01-japanese-instruct | 5.6 | 8.3 | 8.1 | 3.4 | 6.1 | 7.9 | 9.2 | 8.6 | 7.15 |
余談ですが、英語ベンチマークであるOpen LLM Leaderboardのスコアもなぜかわずかに向上していました。 詳細
| Metric | c4ai-command-r-v01 | c4ai-command-r-v01-japanese-instruct |
|---|---|---|
| Avg. | 68.54 | 68.85 |
| AI2 Reasoning Challenge (25-Shot) | 65.53 | 65.87 |
| HellaSwag (10-Shot) | 87 | 85.62 |
| MMLU (5-Shot) | 68.2 | 67.61 |
| TruthfulQA (0-shot) | 52.32 | 51.01 |
| Winogrande (5-shot) | 81.53 | 82.95 |
| GSM8k (5-shot) | 56.63 | 60.05 |
ライセンス
元モデルであるCohereForAI/c4ai-command-r-v01はCC-BY-NC 4.0とC4AI's Acceptable Use Policyのもとに配布されています。
また、ファインチューニングに利用したデータセットであるichikara-instructionはCC-BY-NC-SA 4.0の元配布されています。
そのため、このモデルのライセンスはCC-BY-NC-SA 4.0及びC4AI's Acceptable Use Policyとなります。（理解間違っていればご指摘ください）