Небольшая англоязычная DeBERTa-v2 модель для предсказания замаскированных токенов и экспериментов BabyLM.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Lilliput Curriculum RTD — англоязычная DeBERTa-v2 модель для предсказания замаскированных токенов. Её обучили с нуля для трека BabyLM 2026 Strict-Small; README указывает 31 млн параметров, а метаданные — 34,5 млн параметров и контекст длиной 128 токенов. Модель использует архитектуру DebertaV2ForMaskedLM и доступна в формате safetensors для работы через Transformers.
Модель предназначена для экспериментов с языковым моделированием на ограниченных данных в рамках BabyLM. Лицензия — MIT. Она решает задачу заполнения пропусков в тексте, а не генерации текста в свободной форме.
Предназначена для предсказания замаскированных токенов и не является моделью свободной генерации или диалога. README указывает 31 млн параметров, тогда как метаданные сообщают 34,5 млн.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
A 31M-parameter DeBERTa-v2 masked language model trained from scratch for the BabyLM 2026 Strict-Small track.
from transformers import AutoModelForMaskedLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("mrmikat/lilliput-curriculum-rtd")
model = AutoModelForMaskedLM.from_pretrained("mrmikat/lilliput-curriculum-rtd")
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers · fill-mask
Подбираем GPU…