Модель MRA на 151,8 млн параметров предсказывает замаскированные токены в последовательностях длиной до 512 токенов.
Подходит для: восстановление пропущенных слов в тексте · получение контекстных представлений токенов для NLP-пайплайнов · эксперименты с приближённым self-attention