Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
SlavicBERT — многоязычная модель на архитектуре BERT, разработанная авторами исследования о настройке мультиязычных трансформеров для распознавания именованных сущностей. Модель обучена на русских новостях и Википедиях на болгарском, чешском, польском и русском языках; словарь субтокенов построен по этим данным. Инициализация выполнена из Multilingual BERT.
Модель содержит 12 слоёв, 768 скрытых размерностей и 12 attention-голов. В README указано 180 млн параметров, метаданные Hugging Face указывают 205,1 млн; длина контекста — 512 токенов. Репозиторий содержит веса PyTorch и Flax. Это базовая модель для извлечения признаков из текста на четырёх славянских языках, которую можно адаптировать для задач обработки языка. В карточке не указана лицензия.
Сценарии применения
извлечение контекстных представлений славянского текста
подготовка признаков для распознавания именованных сущностей
адаптация BERT для классификации текстов на русском языке
анализ болгарских, чешских и польских текстов
дообучение моделей обработки славянских языков
Ограничения
Контекст ограничен 512 токенами. Модель обучалась на новостях на русском и четырёх Википедиях, поэтому её представления могут хуже подходить для других жанров и предметных областей.
Для каких профессий подходит5
Разделы каталога профессий, в задачах которых используется эта модель
SlavicBERT[1] (Slavic (bg, cs, pl, ru), cased, 12‑layer, 768‑hidden, 12‑heads, 180M parameters) was trained on Russian News and four Wikipedias: Bulgarian, Czech, Polish, and Russian. Subtoken vocabulary was built using this data. Multilingual BERT was used as an initialization for SlavicBERT.