Характеристики

Контекст: 192 токена
Параметры: 147 млн
Лицензия: MIT
Архитектура: elc_psalm · dense
Библиотека: transformers
Опубликована: 15 июн 2026

Ссылки

Hugging Face

prabhasa-b_s

qbz506

Заполнение пропусковТекст → текст3 профессии

Prabhāsa — 147,5-миллионный MLM-энкодер для восстановления замаскированных токенов и изучения языковых закономерностей.

27скачиваний за 30 дней0лайковвеса обновлены15 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Prabhāsa (prabhasa-bs) — модель-энкодер ELC-PSALM, представленная как заявка BabyLM 2026 для ограниченного корпуса объёмом 100 млн слов. Она предназначена для восстановления замаскированных токенов в тексте и может применяться в задачах языкового моделирования и анализа грамматических закономерностей. Модель содержит 147,5 млн параметров, использует RoPE и N-hot морфемные эмбеддинги Vidyut; для обучения применялись варианты MLM. Максимальная длина контекста — 192 токена. Поддерживается загрузка через Transformers как AutoModelForMaskedLM с trust_remote_code=True.

В README приведён результат BLiMP-PLL 73,06 для одного запуска, а также вывод, что эффект цели обучения зависит от масштаба модели. В контролируемых сравнениях каузальное маскирование и вспомогательная цель с kāraka не дали статистически значимого улучшения BLiMP; авторы связывают измеренные улучшения прежде всего с архитектурой RoPE и pure-MLM. Лицензия — MIT. Карточка указывает английский язык; метаданные также помечают модель как связанную с санскритом, но README не уточняет языковой охват.

Сценарии применения

восстановление пропущенных слов в тексте
оценка языковых закономерностей с помощью masked language model
эксперименты с предобучением компактных языковых моделей
исследование морфемных представлений и грамматического маскирования

Ограничения

Контекст ограничен 192 токенами. В отчёте приведён BLiMP-PLL для одного запуска; каузальное маскирование и вспомогательная цель kāraka не показали статистически значимого выигрыша на BLiMP.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

prabhasa-b_s — Prabhāsa (Pāṇinian Structured pretraining for Small LMs)

BabyLM 2026 Strict (100M words) submission. ELC-PSALM encoder (RoPE, Vidyut N-hot morpheme embeddings, kāraka-aware masking, Muon optimizer), pure/hybrid MLM. Load with trust_remote_code=True (AutoModelForMaskedLM).

Results

BLiMP-PLL: 73.06 (single seed). Text-Avg 55.99 (>~54 baseline); BLiMP-supplement 67.46 (+2.46), entity-tracking 33.26 (+9.68).

Honest findings (pre-registered, controlled)

F1: the objective effect is scale-dependent (pure-MLM wins at 100M, neutral at 10M).
F2: kāraka masking is causally null at matched budget (ΔK−C +0.10, ns).
F3: kāraka auxiliary objective gives no significant BLiMP lift (5-seed Δ +0.76, ns).
Robust wins = architecture (RoPE) + objective (pure-MLM). The Pāṇinian mechanisms contribute interpretability and design, not a measured BLiMP gain. Code: github.com/SharathSPhD/prabhasa-babylm

from transformers import AutoModelForMaskedLM, AutoTokenizer
m = AutoModelForMaskedLM.from_pretrained("qbz506/prabhasa-b_s", trust_remote_code=True)
t = AutoTokenizer.from_pretrained("qbz506/prabhasa-b_s")

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · fill-mask

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры: ElcPsalmForMaskedLM
Ревизия весов: a76c9a9