Компактная англоязычная LTG-BERT для заполнения пропусков и экспериментов по языковому моделированию на ограниченных данных.
17скачиваний за 30 дней0лайковвеса обновлены20 июл 2026
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
LTG-BERT — англоязычная модель для предсказания замаскированных токенов, опубликованная в репозитории poopoobabylm для экспериментов BabyLM 2026. Это плотная трансформерная модель с 12 слоями, размером скрытого состояния 384 и 6 головами внимания; она обучена на ограниченном объёме данных, около 99,95 млн слов, а опубликованные веса представляют собой EMA-копию чекпойнта примерно на шаге 9656. Контекст составляет 512 токенов, токенизатор BPE содержит 16 384 токена.
Модель предназначена для заполнения пропусков в английском тексте и исследований языкового моделирования в условиях ограниченных обучающих данных. Для загрузки через Transformers требуется разрешить выполнение кода из репозитория (`trust_remote_code=True`). Репозиторий распространяется по лицензии MIT.
Сценарии применения
подстановка пропущенных слов в английском предложении
оценка вариантов заполнения маскированного текста
эксперименты с языковыми моделями на ограниченных обучающих данных
Ограничения
Контекст ограничен 512 токенами, а обучение проводилось на сравнительно небольшом корпусе; качество для задач за пределами заполнения пропусков не заявлено. Для загрузки требуется `trust_remote_code=True`.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
from transformers import AutoModelForMaskedLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("poopoobabylm/babylm-2026-strict-small-d2v-s3", trust_remote_code=True)
model = AutoModelForMaskedLM.from_pretrained("poopoobabylm/babylm-2026-strict-small-d2v-s3", trust_remote_code=True)