Характеристики
- Контекст
- 16 384 токена
- Параметры
- 187 млн
- Архитектура
- pegasus_x · dense
- Опубликована
- 1 сен 2022
Ссылки
pegasus-x-base
PEGASUS-X Base — модель Google для создания кратких пересказов длинных текстов с входным контекстом до 16 тысяч токенов.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
PEGASUS-X Base — модель Google Research, основанная на PEGASUS и предназначенная прежде всего для абстрактивного суммирования длинных текстов. Это encoder-decoder Transformer с блочно-локальным вниманием и глобальными токенами энкодера; модель содержит около 187,1 млн параметров и поддерживает входной контекст до 16 384 токенов.
Модель принимает текст и генерирует текстовое резюме. PEGASUS-X расширяет PEGASUS дополнительным предобучением на длинных последовательностях; в исследовании авторы сообщают о сильных результатах на задачах суммирования длинных текстов при сравнительно небольшом размере модели. Карточка Hugging Face не содержит сведений о конкретных языках обучения или лицензии, поэтому они здесь не уточняются.
Сценарии применения
- суммирование длинной статьи
- подготовка резюме научной работы
- краткий пересказ длинного отчёта
- сжатие содержимого нескольких разделов документа
Ограничения
Модель ориентирована на суммирование и может быть неподходящей для задач, требующих точного воспроизведения всех деталей исходного текста. Поддерживаемые языки и лицензия в доступных источниках не установлены.
Для каких профессий подходит9
Разделы каталога профессий, в задачах которых используется эта модель
Также подходит для
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Автор не опубликовал карточку модели.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
У модели не указана задача.
- Класс архитектуры
- PegasusXForConditionalGeneration
- Ревизия весов
- cd8a69a