Характеристики

Контекст: 192 токена
Параметры: 147 млн
Лицензия: MIT
Архитектура: elc_psalm · dense
Библиотека: transformers
Опубликована: 15 июн 2026

Ссылки

prabhasa-b_ss-0.1

Заполнение пропусковТекст → текст3 профессии

Prabhāsa-bss-0.1 — англо-санскритская encoder-модель ELC-PSALM для восстановления замаскированных токенов и экспериментов с малыми языковыми моделями.

26скачиваний за 30 дней0лайковвеса обновлены15 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Prabhāsa-bss-0.1 — модель-кодировщик ELC-PSALM для восстановления замаскированных токенов, представленная как заявка BabyLM 2026 в категории Strict-Small с обучением на 10 млн слов. Модель содержит 147,5 млн параметров, использует RoPE и обучалась с языковым моделированием с масками; для загрузки через Transformers требуется включить trust_remote_code.

Модель предназначена для экспериментов с небольшими языковыми моделями и оценки языковых представлений, в том числе на BLiMP и GLUE. В карточке приведены результаты BLiMP-PLL 64,09 и среднего результата GLUE 58,07. Поддерживаются английский и санскрит; контекст составляет 192 токена. Архитектура включает морфемные представления Vidyut N-hot и механизмы, вдохновлённые грамматикой Панини, однако авторы сообщают, что эти механизмы не дали статистически значимого улучшения BLiMP. Лицензия — MIT.

Сценарии применения

восстановление пропущенных токенов в английском тексте
восстановление пропущенных токенов в санскритском тексте
оценка языковых представлений на тестах грамматической приемлемости
эксперименты с предобучением малых языковых моделей

Ограничения

Контекст ограничен 192 токенами. В экспериментах автора панинианские механизмы маскирования и вспомогательная цель не дали статистически значимого прироста BLiMP; для загрузки требуется trust_remote_code.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

prabhasa-b_ss-0.1 — Prabhāsa (Pāṇinian Structured pretraining for Small LMs)

BabyLM 2026 Strict-Small (10M words) submission. ELC-PSALM encoder (RoPE, Vidyut N-hot morpheme embeddings, kāraka-aware masking, Muon optimizer), pure/hybrid MLM. Load with trust_remote_code=True (AutoModelForMaskedLM).

Results

BLiMP-PLL: 64.09 (3-seed mean ±0.26). GLUE avg 58.07; Text-Avg 49.86.

Honest findings (pre-registered, controlled)

F1: the objective effect is scale-dependent (pure-MLM wins at 100M, neutral at 10M).
F2: kāraka masking is causally null at matched budget (ΔK−C +0.10, ns).
F3: kāraka auxiliary objective gives no significant BLiMP lift (5-seed Δ +0.76, ns).
Robust wins = architecture (RoPE) + objective (pure-MLM). The Pāṇinian mechanisms contribute interpretability and design, not a measured BLiMP gain. Code: github.com/SharathSPhD/prabhasa-babylm

from transformers import AutoModelForMaskedLM, AutoTokenizer
m = AutoModelForMaskedLM.from_pretrained("qbz506/prabhasa-b_ss-0.1", trust_remote_code=True)
t = AutoTokenizer.from_pretrained("qbz506/prabhasa-b_ss-0.1")

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · fill-mask

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры: ElcPsalmForMaskedLM
Ревизия весов: 28bcace