Характеристики

Контекст: 512 токенов
Параметры: 38,5 млн
Лицензия: Apache 2.0
Архитектура: t5 · dense
Базовая модель: t5-small
Опубликована: 5 окт 2023

Ссылки

Hugging Face

Text_Summarization

buianh0803

Языковая модель

Дообученная на CNN/DailyMail модель T5-small для создания кратких резюме англоязычных новостных статей.

7скачиваний за 30 дней0лайковвеса обновлены7 окт 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Text_Summarization — дообученная модель T5-small, опубликованная пользователем buianh0803. Она предназначена для суммаризации англоязычных новостных статей и обучена на датасете CNN/DailyMail. Модель содержит 38,5 млн параметров, использует архитектуру T5 для преобразования текста в текст и имеет контекст до 512 токенов.

На оценочной выборке указаны значения ROUGE-1 0,2468, ROUGE-2 0,1174 и ROUGE-L 0,204. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не описывает ограничения и сценарии применения подробнее; короткое контекстное окно ограничивает объём текста, который можно обрабатывать за один проход.

Сценарии применения

краткий пересказ новостной статьи
выделение основного содержания статьи CNN/DailyMail
создание резюме англоязычного текста

Ограничения

Контекст модели ограничен 512 токенами, поэтому длинные статьи могут потребовать предварительного сокращения или обработки по частям. В карточке приведены умеренные метрики ROUGE на оценочной выборке; более широкие ограничения не описаны.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Text_Summarization

This model is a fine-tuned version of t5-small on the cnn_dailymail dataset. It achieves the following results on the evaluation set:

Loss: 1.7064
Rouge1: 0.2468
Rouge2: 0.1174
Rougel: 0.204
Rougelsum: 0.204
Gen Len: 18.9998

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 1

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
1.8588	1.0	35890	1.7064	0.2468	0.1174	0.204	0.204	18.9998

Framework versions

Transformers 4.34.0
Pytorch 2.0.1+cu118
Datasets 2.14.5
Tokenizers 0.14.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: T5ForConditionalGeneration
Ревизия весов: e0df844