Русскоязычная модель RoBERTa от Sber AI и MLSA Lab для восстановления замаскированных токенов в тексте.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
ruSciBERT — русскоязычная модель типа encoder для заполнения пропусков в тексте. Её обучили команда Sber AI и лаборатория MLSA Института ИИ МГУ; модель представлена на AI Journey 2022.
Модель основана на архитектуре RoBERTa и предназначена для задачи fill-mask: она предлагает варианты вместо замаскированного токена в контексте. Используется BPE-токенизатор со словарём из 50 265 токенов. В метаданных указаны 151,8 млн параметров и контекст длиной 514 токенов. Репозиторий содержит веса PyTorch.
Модель подходит для русскоязычного анализа текста и сценариев, где нужно восстанавливать пропущенные слова по контексту. Условия распространения — лицензия Apache-2.0.
Модель предназначена для заполнения масок, а не для генерации свободного текста или диалогов. Указанный в карточке объём обучения и число параметров отличаются от значений в метаданных.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Model was trained by Sber AI team and MLSA Lab of Institute for AI, MSU. If you use our model for your project, please tell us about it (nikgerasimenko@gmail.com).
Presentation at the AI Journey 2022
mask fillingencoderbpe50265123 M6.5 GBНа своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…