Характеристики

Контекст: 512 токенов
Параметры: 130 млн
Лицензия: Apache 2.0
Архитектура: deberta-v2 · dense
Опубликована: 11 июн 2026

Ссылки

chinese-babylm-v4

Заполнение пропусковТекст → текст3 профессии

Китайскоязычная DeBERTa-v2 модель для предсказания замаскированных токенов и экспериментов с пониманием китайского текста.

1 559скачиваний за 30 дней0лайковвеса обновлены11 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

zymonody/chinese-babylm-v4 — китайскоязычная модель masked language modeling, представленная для конкурса NLPCC 2026 Chinese BabyLM Challenge. Она основана на архитектуре DeBERTa-v2 и предназначена для восстановления замаскированных фрагментов текста, а также для использования в задачах понимания китайского языка, где требуется предсказание пропущенных токенов. В README указаны 12 слоёв, размер скрытого состояния 768, 12 attention heads и символьный токенизатор; метаданные каталога сообщают о 129,7 млн параметров и контексте до 512 токенов. Модель предварительно обучена в рамках ограничения конкурса на объём данных до 102 млн слов Jieba.

Сценарии применения

восстановление пропущенных слов или символов в китайском тексте
оценка контекстуальной совместимости китайских слов
эксперименты с masked language modeling
исследования эффективности обучения языковых моделей на ограниченном объёме данных

Ограничения

Модель рассчитана на китайский язык и ограничена контекстом в 512 токенов. Методологические подробности автор обещает опубликовать после периода оценки конкурса.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Chinese BabyLM 2026 submission (v4)

A Chinese masked language model for the NLPCC 2026 Chinese BabyLM Challenge, pretrained within the ≤102M Jieba-word data budget.

Architecture: DeBERTa-v2 base (12 layers, hidden 768, 12 heads), ~102M params
Tokenizer: character-level
Objective: masked language modeling

Methodology details will be released in the technical report after the evaluation period.

Usage

from transformers import AutoTokenizer, AutoModelForMaskedLM
tok = AutoTokenizer.from_pretrained("zymonody/chinese-babylm-v4")
model = AutoModelForMaskedLM.from_pretrained("zymonody/chinese-babylm-v4")

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: DebertaV2ForMaskedLM
Ревизия весов: 8338897