Китайская DeBERTa-v2 модель для предсказания замаскированных фрагментов текста и экспериментов в условиях ограниченного объёма данных.
1 566скачиваний за 30 дней0лайковвеса обновлены11 июн 2026
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
zymonody/chinese-babylm-v3 — китайскоязычная маскированная языковая модель, представленная для конкурса NLPCC 2026 Chinese BabyLM Challenge. Она построена на архитектуре DeBERTa-v2 с 12 слоями, размерностью скрытого состояния 768 и 12 головами внимания; в метаданных указано 129,7 млн параметров. Модель обучена на задаче masked language modeling в рамках ограничения конкурса на объём данных: не более 102 млн слов Jieba. Используется символьный токенизатор, максимальная длина контекста — 512 токенов.
Модель подходит для предсказания пропущенных фрагментов китайского текста и экспериментов с языковым моделированием в условиях ограниченного объёма обучающих данных. Для загрузки README предлагает Transformers и классы AutoTokenizer и AutoModelForMaskedLM. Технический отчёт с подробностями методики планировался после периода оценки конкурса, поэтому детали обучения здесь ограничены. Лицензия — Apache-2.0.
Сценарии применения
предсказание пропущенных слов в китайском тексте
восстановление замаскированных фрагментов китайских предложений
оценка контекстуальной сочетаемости слов в китайском языке
эксперименты по предобучению языковых моделей на малых корпусах
Ограничения
Модель рассчитана на китайский язык и ограничена контекстом в 512 токенов. Подробности методики обучения обещаны в техническом отчёте после периода оценки конкурса.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Methodology details will be released in the technical report after the evaluation period.
Usage
from transformers import AutoTokenizer, AutoModelForMaskedLM
tok = AutoTokenizer.from_pretrained("zymonody/chinese-babylm-v3")
model = AutoModelForMaskedLM.from_pretrained("zymonody/chinese-babylm-v3")
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров