BypBERT-tiny-zh-v2
全词遮盖（WWM）预训练的中文 Tiny BERT 模型
模型信息
| 项目 | 值 |
|---|
| 模型规模 | 8.7M 参数（4 层 / 256 隐藏维 / 4 注意力头） |
| 预训练策略 | WWM（Whole Word Masking） |
| 分词工具 | jieba |
| 训练语料 | 1,287,957 句中文维基百科（137 MB） |
| 训练步数 | 100,625 步（5 epochs × 20,125 步/epoch） |
| 批大小 | 64 |
| 学习率 | 1e-4（AdamW + 线性 warmup + 线性衰减） |
| 训练平台 | Google Colab Pro · NVIDIA Tesla T4（15 GB） |
| 训练耗时 | ~5 小时 |
| 最终 Loss | 4.3068 |
策略说明
本模型采用 WWM（全词遮盖） 策略：使用 jieba 分词识别中文词边界，以词为单位进行遮盖——一个词的所有 WordPiece token 同时遮盖或同时保留。
原句：我喜欢吃苹果
分词：我 / 喜欢 / 吃 / 苹果
遮盖：我 喜欢 吃 [MASK][MASK] ← "苹果"两个字同时遮盖
与 v1（MLM 随机子词遮盖）相比，WWM 在每个对比检查点的 loss 均更低（差距约 0.05-0.10），表明全词遮盖策略在 tiny 规模上具有学习优势。
适用场景
| 任务 | 示例 |
|---|
| 文本分类 | 情感分析、意图识别、垃圾邮件检测 |
| 命名实体识别 | 从文本中抽取人名、地名、机构名 |
| 语义匹配 | 判断两句话是否表达相同意思 |
| 关键词抽取 | 从文档中提取核心关键词 |
| 端侧部署 | RK3588、手机等资源受限设备 |
不适用场景
| 任务 | 原因 |
|---|
| 对话/问答 | 需要生成式模型（GPT、Qwen 等） |
| 文本生成/写作 | 同上 |
| 翻译 | 需要 Encoder-Decoder 架构（如 T5） |
快速使用
from transformers import AutoModelForMaskedLM, AutoTokenizer
model = AutoModelForMaskedLM.from_pretrained("eebyp/BypBERT-tiny-zh-v2")
tokenizer = AutoTokenizer.from_pretrained("eebyp/BypBERT-tiny-zh-v2")
inputs = tokenizer("我喜欢吃[MASK]", return_tensors="pt")
outputs = model(**inputs)
predicted_token_id = outputs.logits[0, 3].argmax().item()
print(tokenizer.decode([predicted_token_id])) # 预测被遮盖的词
系列模型
局限性
- Tiny 规模（8.7M）牺牲精度换取速度和资源效率
- 绝对性能低于 base 规模模型（110M）
- 仅在中文维基百科语料上预训练，未做领域自适应
引用
@misc{bai2026bypbert,
title={Tiny-Scale Chinese BERT Pretraining: A Controlled Comparison of MLM, WWM, and MacBERT Strategies},
author={Bai, Yiping},
year={2026},
publisher={Hugging Face},
url={https://huggingface.co/eebyp/BypBERT-tiny-zh-v2}
}
👤 作者