Shared Yes/No Qwen3-0.6B — S1
通过共享 Yes/No mask 读出进行动态选择、二元判断和有序评分的完整 BF16 模型。
- 原始模型:
dllm-hub/Qwen3-0.6B-diffusion-mdlm-v0.1,revisionc8d24a3f4adaeef46881b450e1bf7d1005203bd7。 - 训练数据:S1,40,000 条决策;从原始 MDLM base 全参数训练三轮,不是从 S0 续训。
- 发布 checkpoint:step 1,300,按原 S0 开发集 mean KL 选中;dev KL 0.26017。它不是 epoch 1 结束时的 step 1,250,也不是 epoch 2 结束时的 step 2,500。
- 权重、模型代码和 tokenizer 保持原 checkpoint 内容,不是 LoRA,也不是量化模型。
使用
hf download SEU-ZZH/Shared-YesNo-Qwen3-0.6B-S1 \
--local-dir ./models/shared-yesno-s1
按代码仓库 README准备环境和数据,将评测命令的 --model-path 指向上述目录。使用 AutoModelForMaskedLM、trust_remote_code=True 和项目的 Shared Yes/No 读出,而不是普通聊天生成接口。原模型代码的演示导入需要代码仓库提供的 support/dllm_stub 兼容路径。
完整外部评测
同一冻结测试集,BF16、温度 1、batch 1、完整候选输入:
| 测试集 | Accuracy |
|---|---|
| typed-decisions | 52.25% |
| AG News | 80.91% |
| Emotion | 56.35% |
| Banking77 | 60.49% |
| Prompt Injection | 70.69% |
| SST5 | 42.58% |
代码、训练/测试数据和实验说明见项目仓库。模型基于 Qwen3 与 dLLM 的 MDLM 实现,保留上游归属;上游指定 revision 的模型卡声明 Apache-2.0。该声明不重新许可训练数据。当前发布为私有仓库。