BERTc-165M
字级中文 Modern BERT,从零预训练。纯 PyTorch 实现,不依赖 transformers。
架构
- 参数量 165M
- 12L / 1024H / 2752I / 16 heads
- ScaledSinusoidal 位置编码、GeGLU 前馈、LayerNorm 无 bias、输入输出词嵌入绑定
- 全部 Linear 无 bias;Megatron 式初始化(残差支路 ×1/√2L)
- 预训练用 flex_attention 做跨文档隔离,微调走 SDPA
下游表现
| 任务 | 结果 |
|---|---|
| PD-1998 分词 / 词性 / 实体(联合微调) | score 1.4689(CWS 0.9836 / POS 0.9753 / NER 0.9632) |
| SIGHAN-15 拼写纠错 | SIGHAN-15 句级 F1 0.8333 |
首个在 165M 规模同时拿到 MT / CSC SOTA 的 Modern BERTc 骨干。
用法
import json, torch
from safetensors.torch import load_file
from model import ModernBertConfig, ModernBertForMLM
from tokenizer import PieceCharTokenizer
cfg = ModernBertConfig.from_dict(json.load(open("config.json")))
model = ModernBertForMLM(cfg)
model.load_state_dict(load_file("model.safetensors"), strict=True)
model.eval()
tok = PieceCharTokenizer(".")
ids = torch.tensor([tok.encode("北京是中国的首都")])
ids[0, 2] = tok.mask_token_id
print(tok.id_to_char(int(model(ids)["logits"][0, 2].argmax())))
依赖
只需要 PyTorch 和 PieceTokenizer,没有别的。
| 模型定义 | 目录内的 model.py(纯 torch,不 import transformers) |
| 权重读取 | 目录内的 checkpoint.py(85 行 safetensors 读取,不需要 safetensors 库) |
| 分词器 | PieceTokenizer,提供字级切分和词表 |
pip install torch
pip install git+https://github.com/Ismantic/PieceTokenizer
目录是自包含的:进到目录里直接 python example_*.py 就能跑,不依赖目录外的
任何文件。
Tokenizer
字级 SentencePiece,BERTc-Tokenizer.pt,词表 12536(pad=12531,mask=12535)。必须用 dict="no"
加载(字模式,不挂分词词典)——挂了词典编码结果会跟训练时不一致,而且不报错。
pip install git+https://github.com/Ismantic/PieceTokenizer
文件
| 文件 | 说明 |
|---|---|
model.safetensors | 权重 |
config.json | 架构配置 |
model.py | 模型定义(纯 PyTorch,无 transformers 依赖) |
BERTc-Tokenizer.pt | 词表(与 PieceTokenizer 仓库里那份相同) |
tokenizer.py | 字级 tokenizer 封装 |
example_load.py | 加载 + 掩码预测示例 |
许可
Apache-2.0。训练语料各自的许可见对应数据集卡。