Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
zedfum/arman-longformer-8k — модель на базе alireza7/ARMAN-MSR-persian-base, в которой для работы с длинными входами применён механизм внимания Longformer. Она предназначена для реферирования документов на персидском языке и принимает до 8192 токенов. Модель содержит 187,1 млн параметров, использует архитектуру Pegasus с классом LongformerEncoderDecoderForConditionalGeneration и распространяется в формате PyTorch.
Модель рассчитана на абстрактивное суммирование длинных текстов, превышающих ограничение в 512 токенов исходной базовой модели. В карточке указано, что её следует дообучить для задач суммирования, поэтому качество применения без такого дообучения не подтверждено. Лицензия в предоставленных данных не указана.
В карточке сказано, что модель следует дообучить для суммирования; качество без такого дообучения не подтверждено. Лицензия не указана в предоставленных данных.
Карточка модели
README от автора на Hugging Face, как он его опубликовал
This project use Longformer's attention mechanism to alireza7/ARMAN-MSR-persian-base in order to perform abstractive summarization on long documents. so new model can accept 8K tokens (rather than 512 tokens).it should be fine-tuned for summarization tasks.