Project LLM checkpoint：lora-05

本仓库是 Project LLM 从 Gemma 4 12B IT 出发的完整 BF16 模型快照，位于 CPT 0.5 epoch 配方搜索。它不是adapter仓库，也不包含可精确续训的optimizer状态。

当前仓库身份

当前模型的正式 CPT 评测

该0.5-epoch checkpoint没有执行后续 stage-gate-v1 Agent Eval。对应1.0-epoch配方的行为成绩不属于本模型，不能代填。

整个模型谱系

google/gemma-4-12B-it
  ├─ CPT 第一轮：20 个 0.5-epoch 独立实验
  ├─ CPT 第二轮：10 个 1.0-epoch 独立重训实验
  │    ├─ top10-01-full-02-1ep ─┬─ SFT v3 F3 × {0.5, 1.0, 2.0 epoch}
  │    │                         └─ SFT v3 L5 × {0.5, 1.0, 2.0 epoch}
  │    └─ top10-02-lora-15-1ep ─── SFT v3 L2 × {0.5, 1.0, 2.0 epoch}
  │                                  └─ L2 h2p0
  │                                      └─ RLVR v1 steps 25→50→75→100→125
  │                                          └─ RLVR Dynamic v2 local steps 25→50→75→100→125→149
  └─ 原始基座只作为评测控制组，没有由本项目重新上传

必须区分两种“关系”：

1. 配方对应关系：CPT 1.0 epoch 的十个模型与第一轮十个优选唯一配方一一对应，但它们从原始基座独立重训，没有继承 0.5 epoch 模型参数。
2. 参数继承关系：SFT 从明确的 CPT 1.0 epoch 权重开始；RLVR v1 从明确的 SFT 权重开始；RLVR v2 从 v1 step 125 权重开始。这些才是实际模型参数的父子谱系。

架构、精度与导出形式

这 50 个仓库使用同一模型结构，区别在训练后参数值及所处训练阶段：

训练只针对文本任务。视觉塔、音频塔和多模态投影资产保持冻结；主要参数变化发生在文本语言模型。LoRA/RSLoRA 实验仓库保存的是已经合并回基座的完整模型权重，不是仅含低秩矩阵的 adapter，因此加载时不需要额外寻找基座或执行 adapter merge。

每个仓库还包含模型配置、generation config、tokenizer、processor、chat template 和 Safetensors 索引。归档不包含 optimizer、scheduler、随机数状态、dataloader cursor、FSDP/DTensor shard 或 Ray 状态，所以适合推理、统一评测及作为新训练的初始化权重，不支持原训练作业的位级精确断点续训。

CPT 数据谱系

本轮 30 个 CPT 模型全部读取同一份冻结数据身份 3aef2778afe52f04c786ef2469465b4c5ae448f4db5a5dc08f6ec70254a2febf。公开归档见 SF-CPT-v1。

训练混合按监督 token制定目标：80% 项目域连续文本、10% 通用 CPT、10% 通用 SFT 锚点。项目域原文是 104 份公开日文防卫白书与警察白书；原文归档见 SF-RAW-v1。通用 CPT 来自 FineWeb-2 日语及 Nemotron-CC v2/v2.1 的质量分层；通用 SFT 锚点来自 Nemotron 的 chat、agentic、multilingual、safety、math、code 与 science 数据。

训练与 eval 按文档组隔离，train 使用 96 个项目域文档组，eval 使用另外 8 个文档组。序列长度为 8,192；CPT 连续文本对有效 next-token 位置计算 loss，混入的 SFT 记录只对相应 assistant/target token 计算 loss。

0.5 epoch 实验每模型实际覆盖 9,796,654 个训练监督 token、101 个 optimizer steps；1.0 epoch 实验每模型覆盖完整 19,448,100 个训练监督 token、206 个 optimizer steps。两轮使用同一数据集、seed 和批配置，第二轮没有重新生成数据。

CPT 第一轮全体结果与本仓库位置

同一冻结 eval 上的 loss 越低越好。以下20个模型都从相同原始基座独立开始。

lora-05 与 lora-18 的科学配方及 loss 相同；第二轮只保留一个唯一配方代表 top10-06-lora-05-1ep。

CPT 第二轮十个独立重训结果

十个模型均从原始基座独立重训1.0 epoch。‘来源配方’只表示科学参数对应，不表示加载了0.5 epoch权重。

十个配对配方从0.5增至1.0 epoch后，eval all loss全部下降；平均下降0.076582。但loss排名与Agent Eval并不单调一致，因此后续SFT起点同时考虑结构多样性与行为评测。

端到端 Agent Eval 的统一口径

项目对原始基座、10 个 CPT 1.0 epoch 模型和9个 SFT v3模型执行过同一套 stage-gate-v1 Agent Eval：每模型2,000题，product-v1 工具面，temperature=0，固定 seed，每题一次确定性 rollout。所有模型使用相同 task/passages 快照；judge 使用同一 Nemotron 3 Ultra NVFP4 revision、prompt、schema和生成策略。

这项通过率衡量模型在受控 agent 环境里搜索、打开依据、调用工具、恢复错误、遵守结构和给出最终答案的综合能力。它不同于 teacher-forced token loss：较低 loss 不保证较高 Agent Eval，通过率也不等于开放世界通用能力。当前评测每题仅一次 rollout，Wilson 区间只反映题目抽样误差，不包含多次采样方差；它是阶段筛选集，不是最终私有 release holdout。

20个 0.5 epoch CPT checkpoint 没有执行这套 Agent Eval，因此对应 README 会明确留空，不能把同配方1.0 epoch模型的结果回填给0.5 epoch模型。

本项目已公开的 50 个模型 checkpoint

CPT 0.5 epoch（20）

• full-01
• full-02
• lora-01
• lora-02
• lora-03
• lora-04
• lora-05 ← 当前仓库
• lora-06
• lora-07
• lora-08
• lora-09
• lora-10
• lora-11
• lora-12
• lora-13
• lora-14
• lora-15
• lora-16
• lora-17
• lora-18

CPT 1.0 epoch（10）

• top10-01-full-02-1ep
• top10-02-lora-15-1ep
• top10-03-lora-03-1ep
• top10-04-lora-04-1ep
• top10-05-lora-08-1ep
• top10-06-lora-05-1ep
• top10-07-lora-06-1ep
• top10-08-lora-01-1ep
• top10-09-lora-17-1ep
• top10-10-lora-09-1ep

SFT v3（9）

• L2--h0p5--seed20261006
• L2--h1p0--seed20261006
• L2--h2p0--seed20261006
• L5--h0p5--seed20261006
• L5--h1p0--seed20261006
• L5--h2p0--seed20261006
• F3--h0p5--seed20261006
• F3--h1p0--seed20261006
• F3--h2p0--seed20261006

RLVR（11）

• v1 local step 25 / cumulative 25
• v1 local step 50 / cumulative 50
• v1 local step 75 / cumulative 75
• v1 local step 100 / cumulative 100
• v1 local step 125 / cumulative 125
• v2 local step 25 / cumulative 150
• v2 local step 50 / cumulative 175
• v2 local step 75 / cumulative 200
• v2 local step 100 / cumulative 225
• v2 local step 125 / cumulative 250
• v2 local step 149 / cumulative 274

这些仓库各自是独立的完整权重快照。数量50表示50个发布点，不表示50种架构。

加载与推理

需要使用支持 gemma4_unified 的 Transformers 版本：

from transformers import AutoProcessor, AutoModelForMultimodalLM

repo_id = "vosldtgbj/project-llm-cpt-0p5-lora-05"
processor = AutoProcessor.from_pretrained(repo_id)
model = AutoModelForMultimodalLM.from_pretrained(
    repo_id,
    torch_dtype="auto",
    device_map="auto",
)

Tokenizer、processor 与 chat template 应从同一仓库加载，不应擅自替换成其他 Gemma 版本。部署时应先用小批请求验证模型实现是否识别 Gemma4UnifiedForConditionalGeneration。该模型约12.48B参数；实际显存需求还取决于推理精度、KV cache、上下文长度、并发和框架实现。

对于 LoRA/RSLoRA 路线，本仓库已经是合并后的完整权重，加载方式与 Full 路线相同，不需要 PEFT adapter 参数。

适用范围、选择建议与限制

• 这些模型主要研究日文项目域知识、基于证据的问答、工具交互、结构化输出及可验证强化学习。
• CPT checkpoint 适合作为领域继续训练后的起点；SFT checkpoint 更适合直接比较指令/agent行为；RLVR checkpoint 用于研究可验证奖励对策略的影响。
• 选择 checkpoint 时应使用冻结的同口径评测。不能把 CPT loss、SFT masked loss、训练 reward 和 Agent Eval 当成同一种指标，也不能只凭训练步数断言后期 checkpoint 更好。
• 公开的 stage-gate 结果可能因公开数据、工具实现、judge或运行环境变化而无法代表新的部署条件。用于生产前应重新做目标环境评测、安全测试和人工抽检。
• 训练语料以公开日文白书及公开通用数据为主。模型可能继承上游模型及训练数据中的偏差、幻觉、过度拒答、不当工具调用和语言能力不均衡。
• 模型输出不是事实保证，也不应直接作为法律、医疗、安全或其他高风险决策依据。
• 本仓库没有 optimizer 等续训状态。可以把完整权重作为新实验的初始化，但无法精确恢复原作业的动量、scheduler位置、数据游标或随机数状态。

归档、完整性与许可证

• Hugging Face repo：vosldtgbj/project-llm-cpt-0p5-lora-05
• 原始权重上传验证：通过
• 原始归档 commit：de7e20fae56d25ed0c69b5d200874608aa007b55
• README 深度修订日期：2026-10-09
• 发布形式：公开 model repository
• 内容范围：weight-only 完整推理导出；不含 optimizer/trainer state

模型继续受上游 Gemma 许可与使用条款约束。训练所用公开数据还各自受其来源许可证约束；模型权重的发布不重新许可或打包这些原始数据。使用者需要自行核对当前用途、所在司法辖区及依赖项许可。

本卡片区分了“实际执行事实”“同口径评测结果”和“使用建议”。未执行的评测保持未报告，不使用推算值填补；RLVR 保存点也不把邻近训练 step 的 reward 冒充为该 checkpoint 的独立离线指标。