/ Модель
Каталог

Характеристики

Контекст
128 токенов
Параметры
9,6 млн
Лицензия
Apache 2.0
Архитектура
bert · dense
Библиотека
transformers
Опубликована
5 окт 2026

Ссылки

Hugging Face

BypBERT-tiny-zh-v3

eebyp
Заполнение пропусковТекст → текст

Компактная китайская BERT-модель с предобучением MacBERT для предсказания пропущенных токенов в тексте.

38скачиваний за 30 дней0лайковвеса обновлены12 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

BypBERT-tiny-zh-v3 — компактная китайскоязычная модель семейства BERT с архитектурой BertForMaskedLM, разработанная Yiping Bai. Она обучена на 1 287 957 предложениях из китайской Википедии по стратегии MacBERT: при маскировании 15% токенов модель преимущественно использует замену синонимами, а если синоним не найден — токен [MASK]. Модель предназначена для предсказания пропущенных токенов и изучения контекстных представлений китайского текста.

В README указано 8,7 млн параметров, а метаданные Hugging Face содержат 9,6 млн; длина контекста составляет 128 токенов. Доступна в формате safetensors для Transformers. Лицензия — Apache-2.0. В таблице оценки v3 не заполнены, поэтому качество по приведённым метрикам оценить нельзя.

Сценарии применения

  • предсказание пропущенного слова в китайском предложении
  • подстановка подходящего токена вместо маски [MASK]
  • создание контекстных представлений китайского текста
  • эксперименты с маскированным языковым моделированием на китайском

Ограничения

Контекст ограничен 128 токенами. Метрики оценки версии v3 в README оставлены незаполненными, поэтому её качество по этим тестам неизвестно.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

BypBERT-tiny-zh-v3 (MacBERT)

8.7M 参数中文 BERT-tiny，MacBERT 策略预训练（近义词替换 + 混合回退）。

训练配置

项目值
语料中文维基 1,287,957 句
策略15% token 遮盖，优先近义词替换，无近义词回退 [MASK]
同义词词典222 条目（内置紧凑版）
模型架构hidden=256, layers=4, heads=4, intermediate=1024, max_position=128
参数量8,689,032
超参batch_size=64, lr=1e-4, warmup_ratio=0.1, 5 epochs
总步数100,625
硬件Colab T4

与 v1/v2 对比

训练 loss 对比

步数v1 MLMv2 WWMv3 MacBERT
1,0008.488.478.26
5,0006.326.265.00
10,0005.685.614.18
50,000~4.9~4.62.42
100,625~4.94.312.17

注：loss 因任务难度不同不可直接比较，策略优劣以五维度评估为准。

五维度评估

维度v1 MLMv2 WWMv3 MacBERT
困惑度2.04831.2967[待填]
MLM 命中率1/10 (10%)0/10 (0%)[待填]
语义区分（差值）0.10650.0378[待填]
语法判断4/5 (80%)3/5 (60%)[待填]
上下文敏感性0.76530.8684[待填]

使用示例

from transformers import AutoModelForMaskedLM, AutoTokenizer

model = AutoModelForMaskedLM.from_pretrained("eebyp/BypBERT-tiny-zh-v3")
tokenizer = AutoTokenizer.from_pretrained("eebyp/BypBERT-tiny-zh-v3")

inputs = tokenizer("今天天气真[MASK]", return_tensors="pt")
outputs = model(**inputs)
predicted_token_id = outputs.logits.argmax(dim=-1)[0, 3].item()
print(tokenizer.decode([predicted_token_id]))

👤 作者

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForMaskedLM
Ревизия весов
9b0074c

0 моделей

    Создать бенчмарк