Описание составлено по карточке модели и метаданным Hugging Face
RuBERT-base-cased — русскоязычная версия двунаправленного трансформера BERT, разработанная DeepPavlov. Модель имеет 12 слоёв, скрытый размер 768, 12 голов внимания и около 205 млн параметров по метаданным. Она принимает текст и извлекает контекстные векторные представления токенов; контекст ограничен 512 токенами.
Модель обучалась на русскоязычных текстах Википедии и новостях. При создании использовалась мультиязычная версия BERT-base в качестве начальной точки, а словарь субтокенов был построен для русского языка. Чекпойнт включает головы MLM и NSP и подходит как основа для дальнейшей адаптации к задачам обработки русского языка.
Лицензия в предоставленных данных не указана. Прикладные ограничения, помимо длины контекста, в карточке не описаны.
Сценарии применения
получение векторных представлений русских предложений и токенов
извлечение признаков для классификации русскоязычных текстов
подготовка представлений текста для поиска и кластеризации
дообучение для задач обработки русского языка
Ограничения
Контекст модели ограничен 512 токенами. В предоставленной карточке не описаны результаты оценки качества и лицензия.
Для каких профессий подходит9
Разделы каталога профессий, в задачах которых используется эта модель
RuBERT (Russian, cased, 12‑layer, 768‑hidden, 12‑heads, 180M parameters) was trained on the Russian part of Wikipedia and news data. We used this training data to build a vocabulary of Russian subtokens and took a multilingual version of BERT‑base as an initialization for RuBERT[1].
08.11.2021: upload model with MLM and NSP heads
[1]: Kuratov, Y., Arkhipov, M. (2019). Adaptation of Deep Bidirectional Multilingual Transformers for Russian Language. arXiv preprint arXiv:1905.07213.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров