Project LLM checkpoint：sft-v3-l5-h2p0-seed20261006

本仓库是 Project LLM 的 SFT v3 正式模型之一。它从明确的1.0-epoch CPT模型开始，在90%项目域与10%多语言、多能力通用SFT数据上训练，并导出为完整BF16权重。

当前仓库身份

当前模型评测

Agent Eval分类通过率

masked loss只计算监督位置；行为代理分来自SFT eval package的269条行为项；Agent Eval是2,000题真实工具环境运行。三个指标回答不同问题，不能相互替代。

整个模型谱系

google/gemma-4-12B-it
  ├─ CPT 第一轮：20 个 0.5-epoch 独立实验
  ├─ CPT 第二轮：10 个 1.0-epoch 独立重训实验
  │    ├─ top10-01-full-02-1ep ─┬─ SFT v3 F3 × {0.5, 1.0, 2.0 epoch}
  │    │                         └─ SFT v3 L5 × {0.5, 1.0, 2.0 epoch}
  │    └─ top10-02-lora-15-1ep ─── SFT v3 L2 × {0.5, 1.0, 2.0 epoch}
  │                                  └─ L2 h2p0
  │                                      └─ RLVR v1 steps 25→50→75→100→125
  │                                          └─ RLVR Dynamic v2 local steps 25→50→75→100→125→149
  └─ 原始基座只作为评测控制组，没有由本项目重新上传

必须区分两种“关系”：

1. 配方对应关系：CPT 1.0 epoch 的十个模型与第一轮十个优选唯一配方一一对应，但它们从原始基座独立重训，没有继承 0.5 epoch 模型参数。
2. 参数继承关系：SFT 从明确的 CPT 1.0 epoch 权重开始；RLVR v1 从明确的 SFT 权重开始；RLVR v2 从 v1 step 125 权重开始。这些才是实际模型参数的父子谱系。

架构、精度与导出形式

这 50 个仓库使用同一模型结构，区别在训练后参数值及所处训练阶段：

训练只针对文本任务。视觉塔、音频塔和多模态投影资产保持冻结；主要参数变化发生在文本语言模型。LoRA/RSLoRA 实验仓库保存的是已经合并回基座的完整模型权重，不是仅含低秩矩阵的 adapter，因此加载时不需要额外寻找基座或执行 adapter merge。

每个仓库还包含模型配置、generation config、tokenizer、processor、chat template 和 Safetensors 索引。归档不包含 optimizer、scheduler、随机数状态、dataloader cursor、FSDP/DTensor shard 或 Ray 状态，所以适合推理、统一评测及作为新训练的初始化权重，不支持原训练作业的位级精确断点续训。

SFT v3 数据谱系

九个 SFT 正式模型共同使用 SFT v3 的 official_90_10 冻结视图。公开数据卡见 SF-SFT-v3。它由 SFT v2 canonical 经过确定性引用净化，再按 assistant 监督 token 重新冻结 90% 项目域与 10% 多语言、多能力通用数据。

正式训练包将 67,195 条记录打包为 5,824 个长度 8,192 的 pack；总输入 token 为 44,084,610，assistant 监督 token 为 4,083,167，packing efficiency 为 0.9240。训练只对 assistant 回答、工具调用及明确指定的控制 span 计算 loss。

项目域任务覆盖九类能力：单文档问答、跨文档推理、时间与版本冲突、正常工具轨迹、工具故障恢复、澄清/不可回答/停止、结构化输出、注入与权限边界、通用能力锚点。通用部分覆盖英语和多语言的 instruction、agent/tool、code、math/science、safety 与 structured output。

v3 的关键变化是从监督输出中移除持久内部路径、哈希、行号式引用；需要引用时只保留请求内短编号或自然表达。这是确定性数据转换，不是逐条人工改写，也不是再次调用教师模型生成。

九个 SFT run 使用相同 train/eval 包，但 0.5、1.0、2.0 epoch 都从各自固定 CPT 起点独立启动，并使用各自完整的 cosine 学习率时域；它们不是从一条 2-epoch 轨迹截取的三个中途点。

九个 SFT v3 模型的同口径比较

L2 h2p0 与 L5 h0p5 并列第一，均为57.50%；F3 h2p0是最佳Full SFT，为54.50%。L5 h2p0的masked loss较低但Agent Eval仅41.05%，说明不能仅凭token loss选模型。

端到端 Agent Eval 的统一口径

项目对原始基座、10 个 CPT 1.0 epoch 模型和9个 SFT v3模型执行过同一套 stage-gate-v1 Agent Eval：每模型2,000题，product-v1 工具面，temperature=0，固定 seed，每题一次确定性 rollout。所有模型使用相同 task/passages 快照；judge 使用同一 Nemotron 3 Ultra NVFP4 revision、prompt、schema和生成策略。

这项通过率衡量模型在受控 agent 环境里搜索、打开依据、调用工具、恢复错误、遵守结构和给出最终答案的综合能力。它不同于 teacher-forced token loss：较低 loss 不保证较高 Agent Eval，通过率也不等于开放世界通用能力。当前评测每题仅一次 rollout，Wilson 区间只反映题目抽样误差，不包含多次采样方差；它是阶段筛选集，不是最终私有 release holdout。

20个 0.5 epoch CPT checkpoint 没有执行这套 Agent Eval，因此对应 README 会明确留空，不能把同配方1.0 epoch模型的结果回填给0.5 epoch模型。

与后续 RLVR 的关系

九个SFT模型中，L2 h2p0 与 L5 h0p5 在stage-gate上并列第一。正式RLVR只选择了 L2 h2p0 作为当前实验起点，以保留与其RSLoRA CPT父模型一致的参数路线；这不表示另外八个SFT模型已被证明全面更差，也不表示它们进行过RLVR训练。RLVR v1 step25是从L2 h2p0之后的第一个公开RL保存点。

本项目已公开的 50 个模型 checkpoint

CPT 0.5 epoch（20）

• full-01
• full-02
• lora-01
• lora-02
• lora-03
• lora-04
• lora-05
• lora-06
• lora-07
• lora-08
• lora-09
• lora-10
• lora-11
• lora-12
• lora-13
• lora-14
• lora-15
• lora-16
• lora-17
• lora-18

CPT 1.0 epoch（10）

• top10-01-full-02-1ep
• top10-02-lora-15-1ep
• top10-03-lora-03-1ep
• top10-04-lora-04-1ep
• top10-05-lora-08-1ep
• top10-06-lora-05-1ep
• top10-07-lora-06-1ep
• top10-08-lora-01-1ep
• top10-09-lora-17-1ep
• top10-10-lora-09-1ep

SFT v3（9）

• L2--h0p5--seed20261006
• L2--h1p0--seed20261006
• L2--h2p0--seed20261006
• L5--h0p5--seed20261006
• L5--h1p0--seed20261006
• L5--h2p0--seed20261006 ← 当前仓库
• F3--h0p5--seed20261006
• F3--h1p0--seed20261006
• F3--h2p0--seed20261006

RLVR（11）

• v1 local step 25 / cumulative 25
• v1 local step 50 / cumulative 50
• v1 local step 75 / cumulative 75
• v1 local step 100 / cumulative 100
• v1 local step 125 / cumulative 125
• v2 local step 25 / cumulative 150
• v2 local step 50 / cumulative 175
• v2 local step 75 / cumulative 200
• v2 local step 100 / cumulative 225
• v2 local step 125 / cumulative 250
• v2 local step 149 / cumulative 274

这些仓库各自是独立的完整权重快照。数量50表示50个发布点，不表示50种架构。

加载与推理

需要使用支持 gemma4_unified 的 Transformers 版本：

from transformers import AutoProcessor, AutoModelForMultimodalLM

repo_id = "vosldtgbj/project-llm-sft-v3-l5-h2p0-seed20261006"
processor = AutoProcessor.from_pretrained(repo_id)
model = AutoModelForMultimodalLM.from_pretrained(
    repo_id,
    torch_dtype="auto",
    device_map="auto",
)

Tokenizer、processor 与 chat template 应从同一仓库加载，不应擅自替换成其他 Gemma 版本。部署时应先用小批请求验证模型实现是否识别 Gemma4UnifiedForConditionalGeneration。该模型约12.48B参数；实际显存需求还取决于推理精度、KV cache、上下文长度、并发和框架实现。

对于 LoRA/RSLoRA 路线，本仓库已经是合并后的完整权重，加载方式与 Full 路线相同，不需要 PEFT adapter 参数。

适用范围、选择建议与限制

• 这些模型主要研究日文项目域知识、基于证据的问答、工具交互、结构化输出及可验证强化学习。
• CPT checkpoint 适合作为领域继续训练后的起点；SFT checkpoint 更适合直接比较指令/agent行为；RLVR checkpoint 用于研究可验证奖励对策略的影响。
• 选择 checkpoint 时应使用冻结的同口径评测。不能把 CPT loss、SFT masked loss、训练 reward 和 Agent Eval 当成同一种指标，也不能只凭训练步数断言后期 checkpoint 更好。
• 公开的 stage-gate 结果可能因公开数据、工具实现、judge或运行环境变化而无法代表新的部署条件。用于生产前应重新做目标环境评测、安全测试和人工抽检。
• 训练语料以公开日文白书及公开通用数据为主。模型可能继承上游模型及训练数据中的偏差、幻觉、过度拒答、不当工具调用和语言能力不均衡。
• 模型输出不是事实保证，也不应直接作为法律、医疗、安全或其他高风险决策依据。
• 本仓库没有 optimizer 等续训状态。可以把完整权重作为新实验的初始化，但无法精确恢复原作业的动量、scheduler位置、数据游标或随机数状态。

归档、完整性与许可证

• Hugging Face repo：vosldtgbj/project-llm-sft-v3-l5-h2p0-seed20261006
• 原始权重上传验证：通过
• 原始归档 commit：1129ba0cac0e8fd581cc276f7ffe77b32ab1c1f1
• README 深度修订日期：2026-10-09
• 发布形式：公开 model repository
• 内容范围：weight-only 完整推理导出；不含 optimizer/trainer state

模型继续受上游 Gemma 许可与使用条款约束。训练所用公开数据还各自受其来源许可证约束；模型权重的发布不重新许可或打包这些原始数据。使用者需要自行核对当前用途、所在司法辖区及依赖项许可。

本卡片区分了“实际执行事实”“同口径评测结果”和“使用建议”。未执行的评测保持未报告，不使用推算值填补；RLVR 保存点也不把邻近训练 step 的 reward 冒充为该 checkpoint 的独立离线指标。