/ Модель

Характеристики

Контекст
8 192 токена
Параметры
187 млн
Архитектура
pegasus · dense
Опубликована
2 июн 2023

arman-longformer-8k

СуммаризацияТекст → текст

Модель на базе ARMAN-MSR Persian с механизмом Longformer для абстрактивного суммирования персидских документов длиной до 8192 токенов.

103скачиваний за 30 дней0лайковвеса обновлены2 июн 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

zedfum/arman-longformer-8k — модель на базе alireza7/ARMAN-MSR-persian-base, в которой для работы с длинными входами применён механизм внимания Longformer. Она предназначена для реферирования документов на персидском языке и принимает до 8192 токенов. Модель содержит 187,1 млн параметров, использует архитектуру Pegasus с классом LongformerEncoderDecoderForConditionalGeneration и распространяется в формате PyTorch.

Модель рассчитана на абстрактивное суммирование длинных текстов, превышающих ограничение в 512 токенов исходной базовой модели. В карточке указано, что её следует дообучить для задач суммирования, поэтому качество применения без такого дообучения не подтверждено. Лицензия в предоставленных данных не указана.

Сценарии применения

  • суммирование длинных персидских документов
  • составление кратких пересказов персидских текстов
  • сжатие персидских материалов, превышающих 512 токенов

Ограничения

В карточке сказано, что модель следует дообучить для суммирования; качество без такого дообучения не подтверждено. Лицензия не указана в предоставленных данных.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for Model arman-longformer-8k

This project use Longformer's attention mechanism to alireza7/ARMAN-MSR-persian-base in order to perform abstractive summarization on long documents. so new model can accept 8K tokens (rather than 512 tokens).it should be fine-tuned for summarization tasks.

converting code is available in github repository

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LongformerEncoderDecoderForConditionalGeneration
Ревизия весов
4427614

0 моделей