Модель Longformer примерно на 190 млн параметров для предсказания пропущенных токенов в последовательностях длиной до 4097 токенов.

Подходит для: восстановление пропущенных слов в длинных текстах · предсказание скрытых токенов по контексту · анализ контекста в длинных последовательностях