Характеристики

Контекст: 512 токенов
Параметры: 38,5 млн
Лицензия: Apache 2.0
Архитектура: t5 · dense
Базовая модель: Text_Summarization
Опубликована: 7 окт 2023

Ссылки

Hugging Face

text-sum

buianh0803

Языковая модель3 профессии

Дообученная на CNN/DailyMail модель T5 для краткого пересказа текстов, прежде всего новостных материалов.

9скачиваний за 30 дней0лайковвеса обновлены7 окт 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

buianh0803/text-sum — модель суммаризации текста на базе архитектуры T5, дообученная на наборе CNN/DailyMail. Веса содержат 38,5 млн параметров, формат — PyTorch; базовая модель — buianh0803/Text_Summarization. Модель предназначена для создания краткого пересказа текста, в частности новостных материалов, по образцу данных обучения.

В карточке приведены результаты оценки: Loss 1,6668, ROUGE-1 0,2484, ROUGE-2 0,1187, ROUGE-L 0,2056 и ROUGE-Lsum 0,2055. Контекст модели составляет 512 токенов. Лицензия — Apache-2.0. README не описывает поддерживаемые языки или сценарии за пределами суммаризации; качество на длинных текстах и других типах данных отдельно не подтверждено.

Сценарии применения

Краткое изложение новостной статьи
Создание аннотации к тексту
Сокращение длинного текста до краткого пересказа

Ограничения

Контекст ограничен 512 токенами; качество на длинных текстах и вне новостного домена CNN/DailyMail отдельно не подтверждено. В карточке приведены умеренные значения ROUGE на оценочном наборе.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

text-sum

This model is a fine-tuned version of buianh0803/Text_Summarization on the cnn_dailymail dataset. It achieves the following results on the evaluation set:

Loss: 1.6668
Rouge1: 0.2484
Rouge2: 0.1187
Rougel: 0.2056
Rougelsum: 0.2055
Gen Len: 18.9986

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
1.8345	1.0	17945	1.6835	0.2475	0.118	0.2047	0.2047	18.998
1.8152	2.0	35890	1.6720	0.2479	0.1179	0.2048	0.2048	18.9986
1.7954	3.0	53835	1.6712	0.2477	0.1182	0.205	0.2051	18.9981
1.7975	4.0	71780	1.6680	0.2482	0.1186	0.2054	0.2054	18.9981
1.7924	5.0	89725	1.6668	0.2484	0.1187	0.2056	0.2055	18.9986

Framework versions

Transformers 4.34.0
Pytorch 2.0.1+cu118
Datasets 2.14.5
Tokenizers 0.14.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: T5ForConditionalGeneration
Ревизия весов: 7991721