Jev-Student-4B 一造(一造考试出题产线决策模型)
蒸馏自三票评审面板(规则 + DeepSeek 两段式 + TypeSafe Jev 1.13 软标签)的一造考试决策模型。 不生成文本——读入题目,单 token 读出类型化判断(字母受限 softmax)。
能力(与商业 Jev 1.13 零样本对照)
| 任务 | 本模型 (r4) | Jev 1.13 零样本 |
|---|---|---|
| 章路由(题→教材章,n=325) | 87.4% | 87.1% |
| 考点路由 top1/top3(题→考点,n=383) | 84.9% / 97.1% | 78.1% / 94.5% |
| 缺陷类型判定(六分类) | 90.5% | — |
| 条件可解性判定 | 96.0% | — |
| 处置动作(可发布/小修/退回) | 91.0% | — |
| ECE(T=0.5 锐化后) | 0.042 | — |
泛化检验(77 枚训练外缺陷探针 + 479 道全新试卷):新缺陷模式抓捕 96–100%、原题误标 9%、与权威判读一致率 77–85%。每个新缺陷类型 = 注入机新模式 + 探针库新条目,覆盖可持续扩张。
用法(字母读出协议)
User: Context:
{题目与选项,标注答案与解析}
Question: {问题}
Options:
A) ...
B) ...
Answer with the letter only.
Assistant: The answer is
对候选字母的 next-token logits 做受限 softmax 得概率(推理温度建议 T=0.5)。
训练
- 基座 Qwen3.5-4B-Base + LoRA r16(注意力投影),1 epoch,lr 5e-5,bf16
- 数据 14,151 样本:八类缺陷注入对比对 778 对(含 Jev 软标签)+ 章路由标签 757 + 考点路由标签 893 + AI 模考题 Jev 软标签 783×3 问
- 损失 = 硬标签 CE × 0.5 + Jev 概率 KL × 0.5(软硬混合)
- 训练成本 < $3(Modal L4)
局限
- 领域限一造四科(管理/计价/土建/安装计量);中文
- 判断非事实保证:概率需按业务阈值使用,建议置信度门控 + 人工复核
- 不做精确计算/多步推理(交给规则与代码)
- 考点路由为章内二级协议(先章后考点)