xlm-roberta-longformer-large-16384 — многоязычная модель с архитектурой Longformer, созданная на основе весов XLM-RoBERTa без дополнительного предварительного обучения. Версия large содержит 658,7 млн параметров, 24 слоя и скрытый размер 1024; механизм внимания рассчитан на обработку последовательностей длиной до 16 384 токенов.

Модель предназначена для извлечения признаков из длинных текстов и последующего дообучения под прикладную задачу. Её можно использовать как основу для классификации, поиска и других задач понимания текста, требующих контекста длиннее стандартного окна трансформера. Поддерживается широкий набор языков, в частности английский и другие европейские, азиатские и африканские языки; полный перечень языковых тегов включает 50 языков. Репозиторий содержит формат TensorFlow. Лицензия — MIT.

Карточка не сообщает результатов оценки качества и не описывает готовые прикладные сценарии: модель следует дообучить для конкретной задачи. Большое окно контекста позволяет учитывать протяжённый текст, но само по себе не гарантирует качество на конкретном языке или задаче.