Характеристики

Контекст: 1 024 токена
Параметры: 367 млн
Архитектура: pegasus · dense
Базовая модель: summary-pumed-dataset-2
Опубликована: 27 мая 2024

Ссылки

Hugging Face

summary-pumed-dataset-3

ifyou819

Языковая модель

Дообученная Pegasus для создания кратких изложений текстов.

8скачиваний за 30 дней0лайковвеса обновлены27 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ifyou819/summary-pumed-dataset-3 — дообученная модель Pegasus объёмом 366,8 млн параметров для суммаризации текстов. Она создана на основе ifyou819/summary-pumed-dataset-2; в карточке указана оценка Loss 5,4922 на проверочной выборке, но содержимое выборки и условия оценки не описаны.

Модель принимает текст и генерирует текстовое резюме. Нативная длина контекста — 1024 токена. Сведения о целевых языках, предметной области и конкретных сценариях применения не приведены. Файлы модели представлены в формате safetensors.

Лицензия в предоставленных данных не указана. Карточка содержит мало сведений о качестве и ограничениях модели; оценку на конкретных данных следует проводить отдельно.

Сценарии применения

составление краткого изложения текста
суммаризация документов

Ограничения

Качество на целевых данных не установлено: карточка приводит только Loss 5,4922 без описания набора и условий оценки. Языки применения и лицензия в предоставленных данных не указаны.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

summary-pumed-dataset-3

This model is a fine-tuned version of ifyou819/summary-pumed-dataset-2 on the None dataset. It achieves the following results on the evaluation set:

Loss: 5.4922

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-06
train_batch_size: 4
eval_batch_size: 4
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 4

Training results

Training Loss	Epoch	Step	Validation Loss
6.3438	1.0	1948	5.7917
6.1719	2.0	3896	5.6261
6.1004	3.0	5844	5.5255
6.0545	4.0	7792	5.4922

Framework versions

Transformers 4.41.1
Pytorch 2.1.2
Datasets 2.18.0
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: PegasusForConditionalGeneration
Ревизия весов: 6835b63