Характеристики

Контекст: 1 024 токена
Параметры: 367 млн
Архитектура: pegasus · dense
Базовая модель: GPTxLege_FoxHunter
Опубликована: 21 мая 2024

Ссылки

summary-news-dataset-1

Языковая модель

Дообученная модель Pegasus для генерации текста, вероятно предназначенная для суммирования новостей, хотя README не подтверждает это назначение.

7скачиваний за 30 дней0лайковвеса обновлены21 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

summary-news-dataset-1 — дообученная модель на архитектуре Pegasus с 366,8 млн параметров, созданная на основе PoseyATX/GPTxLege_FoxHunter. Репозиторий помечен как text2text-generation; название указывает на суммирование новостных материалов, однако README не подтверждает назначение и не описывает сценарии использования.

Модель принимает и генерирует текст. Её контекст ограничен 1024 токенами. В README указана оценка Loss 9,1046 на тестовом наборе, но сведений о наборе данных, методике оценки, поддерживаемых языках и качестве результатов нет. Модель опубликована в формате safetensors; лицензия в предоставленных сведениях отсутствует.

Сценарии применения

предполагаемое суммирование новостных материалов

Ограничения

README не уточняет назначение модели, обучающие данные и ограничения; оценка Loss 9,1046 приведена без описания методики, поэтому качество нельзя оценить по этим сведениям. Лицензия не указана в предоставленных данных.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

summary-news-dataset-1

This model is a fine-tuned version of PoseyATX/GPTxLege_FoxHunter on the None dataset. It achieves the following results on the evaluation set:

Loss: 9.1046

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-06
train_batch_size: 4
eval_batch_size: 4
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 2

Training results

Training Loss	Epoch	Step	Validation Loss
10.1483	1.0	791	9.2664
9.4317	2.0	1582	9.1046

Framework versions

Transformers 4.41.0
Pytorch 2.1.2
Datasets 2.18.0
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: PegasusForConditionalGeneration
Ревизия весов: 699676d