pegasus-x-large

PEGASUS-X Large — модель Google на базе PEGASUS, предназначенная для реферирования длинных текстов. Она использует архитектуру Transformer encoder-decoder с блочно-локальным вниманием и глобальными токенами кодировщика; дополнительное предварительное обучение на длинных последовательностях позволяет обрабатывать входы до 16 384 токенов. В метаданных указаны 366,8 млн параметров и формат PyTorch.

Модель принимает текст и генерирует текстовое резюме; её основное применение — абстрактивное суммирование длинных документов. В исследовании PEGASUS-X показала сильные результаты на задачах суммирования длинных входов при сравнении с более крупными моделями. Карточка Hugging Face не содержит описания модели и не указывает лицензию, поэтому условия использования по доступным сведениям определить нельзя.