Prabhāsa-bs 0.2 — BabyLM-2026 Strict — это англоязычная модель masked language modeling, разработанная qbz506 для предобучения небольших языковых моделей с учётом структуры языка. Она использует плотный ELC encoder из 14 слоёв с размерностью 768 и 12 головами внимания, RoPE, GeGLU, RMSNorm, N-hot эмбеддинги морфем и структурно-ориентированное маскирование Paribhāṣā. В метаданных указано 147,5 млн параметров и контекст 192 токена.

Модель предназначена для восстановления замаскированных токенов и оценки языковых закономерностей в задачах BabyLM: в README приведены результаты на BLiMP, BLiMP-supplement, EWoK и COMPS. Обучение выполнено в режиме pure MLM за 10 эпох в рамках лимита BabyLM Strict; авторы сообщают о воспроизведении результатов в двух независимых запусках. Модель ориентирована на эффективность обучения на небольших корпусах и интерпретируемость, а не на уровень передовых крупных моделей. Распространяется по лицензии MIT.