pico-hiragana-4.0M-h256-l6-base-1BT
共通仕様・Tokenizerの注意点・Transformersでの使用方法は kurogane/pico-hiragana-3.8M-base-5BTを参照してください。 本モデルは別構成のチェックポイントです。既存3.8Mモデルの重みを変形したものではありません。
| 項目 | 3.8M版 | 本モデル |
|---|---|---|
| パラメータ数 | 3,846,832 | 4,003,488 |
| hidden size | 192 | 256 |
| 層数 | 8 | 6 |
| Gated DeltaNet / full attention | 6 / 2 | 4 / 2 |
| 用意した入力トークン数 | 5B | 1B |
| 青空文庫 / 対話のトークン比 | 30% / 70% | 15% / 85% |
checkpoint-13085から復元。保存記録は 13,085 / 13,085 step、epoch 1.0。
train_loss=2.7207145892は訓練平均で、検証lossではありません。
1Bには反復分570,457,213トークンを含みます。訓練時の入力トークン実測カウンタは無効でした。
2000語彙Unigram・チャットID・Tokenizerコードは前回配布版と同一です。
AutoTokenizer(..., trust_remote_code=True)とAutoModelForCausalLMで使用する構成です。
学習系列長2048、保存重みFP32。apply_chat_template(tokenize=True)を直接使用してください。
重み・config・SentencePieceモデルはチェックポイントから無変更。
生成終了IDだけを前回配布版と同じEOS/EOT（[2, 8]）に設定しました。
証跡はmetadata/、検証範囲はVALIDATION.mdに記載しています。