Англоязычная ELC-модель с маскированным языковым моделированием для предсказания пропущенных токенов и экспериментов BabyLM.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Prabhāsa-bss 0.2 — англоязычный masked language model от qbz506 для заполнения пропусков в тексте и исследования sample efficiency в рамках BabyLM-2026 Strict-Small. Модель использует плотный ELC encoder с pure MLM, RoPE, N-hot, structured masking и оптимизатор Muon; по метаданным содержит 147,5 млн параметров и принимает последовательности длиной до 192 токенов.
В официальном оценщике BabyLM-2026 модель получила 62,74 балла BLiMP; результат на 3,3 процентного пункта выше версии 0.1 и на 2,3 пункта ниже базовой модели GPT-2. Карточка отмечает соблюдение лимита BabyLM: не более 10 эпох и бюджет 10M. Распространяется по лицензии MIT.
Контекст ограничен 192 токенами. На BLiMP модель набрала 62,74 балла, что на 2,3 процентного пункта ниже указанного в карточке результата GPT-2.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
ELC encoder, pure-MLM + RoPE + N-hot + structured masking, Muon optimizer (scale-dependent: Muon wins at 10M).
Official BabyLM-2026 scorer: BLiMP 62.74 (supplement, EWoK, COMPS in repo).
qbz506/prabhasa-b_ss-0.1, 59.46); −2.3 pp from the GPT-2 baseline (65.08). BabyLM-compliant (≤10 epochs, 10M budget).На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Модели нужен код из репозитория; автор пока не в списке доверенных организаций.