BERTc-315M

字级中文 Modern BERT,从零预训练。纯 PyTorch 实现,不依赖 transformers。

架构

• 参数量 315M
• 24L / 1024H / 2752I / 16 heads
• ScaledSinusoidal 位置编码、GeGLU 前馈、LayerNorm 无 bias、输入输出词嵌入绑定
• 全部 Linear 无 bias;Megatron 式初始化(残差支路 ×1/√2L)
• 预训练用 flex_attention 做跨文档隔离,微调走 SDPA

下游表现

当前最强的 Modern BERTc 骨干,用完整 17.65B token 语料训练。

用法

import json, torch
from safetensors.torch import load_file
from model import ModernBertConfig, ModernBertForMLM
from tokenizer import PieceCharTokenizer

cfg = ModernBertConfig.from_dict(json.load(open("config.json")))
model = ModernBertForMLM(cfg)
model.load_state_dict(load_file("model.safetensors"), strict=True)
model.eval()

tok = PieceCharTokenizer(".")
ids = torch.tensor([tok.encode("北京是中国的首都")])
ids[0, 2] = tok.mask_token_id
print(tok.id_to_char(int(model(ids)["logits"][0, 2].argmax())))

依赖

只需要 PyTorch 和 PieceTokenizer,没有别的。

pip install torch
pip install git+https://github.com/Ismantic/PieceTokenizer

目录是自包含的:进到目录里直接 python example_*.py 就能跑,不依赖目录外的 任何文件。

Tokenizer

字级 SentencePiece,BERTc-Tokenizer.pt,词表 12536(pad=12531,mask=12535)。必须用 dict="no" 加载(字模式,不挂分词词典)——挂了词典编码结果会跟训练时不一致,而且不报错。

pip install git+https://github.com/Ismantic/PieceTokenizer

文件

许可

Apache-2.0。训练语料各自的许可见对应数据集卡。