Характеристики

Контекст: 60 токенов
Параметры: 367 млн
Лицензия: Apache 2.0
Архитектура: pegasus · dense
Базовая модель: Pegasus_paraphraser_Com_13
Опубликована: 4 апр 2024

Ссылки

Hugging Face

Pegasus_paraphraser_Com_14

Gayathri142214002

Языковая модель

Дообученная модель PEGASUS для перефразирования коротких текстовых фрагментов.

7скачиваний за 30 дней0лайковвеса обновлены4 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

PegasusparaphraserCom14 — дообученная модель семейства PEGASUS, разработанная на основе Gayathri142214002/Pegasus_paraphraser_Com_13. Она содержит 366,8 млн параметров и предназначена для перефразирования текста; репозиторий использует формат Safetensors. Для модели указана лицензия Apache-2.0.

Карточка содержит мало сведений о назначении и оценке модели, поэтому качество перефразирования и подходящие сценарии применения по ней определить нельзя. Указанная длина контекста — 60 токенов, что ограничивает работу с длинными фрагментами текста.

Сценарии применения

Перефразирование коротких предложений
Переформулирование текста другими словами
Создание альтернативной формулировки короткого текста

Ограничения

Контекст ограничен 60 токенами, поэтому модель не подходит для длинных фрагментов без разбиения. В карточке нет сведений о датасете обучения и результатах оценки.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Pegasus_paraphraser_Com_14

This model is a fine-tuned version of Gayathri142214002/Pegasus_paraphraser_Com_13 on an unknown dataset.

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0001
train_batch_size: 16
eval_batch_size: 16
seed: 42
gradient_accumulation_steps: 16
total_train_batch_size: 256
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 4

Training results

Framework versions

Transformers 4.39.2
Pytorch 2.2.2+cu121
Datasets 2.18.0
Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: PegasusForConditionalGeneration
Ревизия весов: 5154592