Характеристики

Параметры: 52,6 млн
Архитектура: t5 · dense
Базовая модель: sum_model_t5_saved
Опубликована: 19 мар 2024

Ссылки

Hugging Face

sum_model_lr1e_3_20epoch

weny22

Языковая модель

Дообученная на INF582-2023-24 модель T5 для создания кратких текстовых резюме.

8скачиваний за 30 дней0лайковвеса обновлены20 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это дообученная модель семейства T5 с 52,6 млн параметров, разработанная автором репозитория weny22 и предназначенная для суммаризации текста. Она дообучена на наборе данных INF582-2023-24; в карточке приведены результаты оценки: ROUGE-1 0,2188, ROUGE-2 0,0915, ROUGE-L 0,181 и ROUGE-Lsum 0,1808. Модель принимает текст и генерирует текстовое резюме. Условия лицензирования в предоставленных данных не описаны.

Сценарии применения

составление краткого резюме текста
сокращение учебных материалов
генерация аннотации к документу

Ограничения

В README приведены сравнительно низкие значения ROUGE на оценочном наборе; качество на других данных может отличаться. Языки модели и условия лицензирования в доступной информации не определены.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

sum_model_lr1e_3_20epoch

This model got the best result so far.

This model is a fine-tuned version of weny22/sum_model_t5_saved on the INF582-2023-24 dataset. It achieves the following results on the evaluation set:

Loss: 1.8879
Rouge1: 0.2188
Rouge2: 0.0915
Rougel: 0.181
Rougelsum: 0.1808
Gen Len: 18.98

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.001
train_batch_size: 64
eval_batch_size: 64
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 20

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
No log	1.0	335	2.1280	0.196	0.0662	0.156	0.1559	18.988
2.8114	2.0	670	2.0104	0.2004	0.0724	0.1609	0.1609	18.956
2.2319	3.0	1005	1.9785	0.2082	0.0776	0.1681	0.1681	18.964
2.2319	4.0	1340	1.9377	0.2084	0.0831	0.1703	0.1704	18.9787
2.0444	5.0	1675	1.8873	0.2107	0.0836	0.1719	0.1722	18.9813
1.9359	6.0	2010	1.8945	0.2132	0.0848	0.1736	0.1735	18.9733
1.9359	7.0	2345	1.8949	0.2135	0.0843	0.1725	0.1727	18.9627
1.8292	8.0	2680	1.8741	0.2155	0.0869	0.1762	0.1765	18.9487
1.7623	9.0	3015	1.8679	0.2154	0.0873	0.176	0.1759	18.9767
1.7623	10.0	3350	1.8627	0.2171	0.0883	0.1774	0.1775	18.9833
1.6812	11.0	3685	1.8617	0.217	0.0877	0.176	0.1759	18.9827
1.6331	12.0	4020	1.8572	0.2154	0.088	0.1756	0.1757	18.982
1.6331	13.0	4355	1.8645	0.2175	0.0895	0.178	0.178	18.972
1.5737	14.0	4690	1.8707	0.2168	0.0877	0.1761	0.1761	18.978
1.5326	15.0	5025	1.8764	0.2204	0.09	0.1805	0.1804	18.9827
1.5326	16.0	5360	1.8746	0.2196	0.0916	0.1804	0.1804	18.9767
1.4881	17.0	5695	1.8734	0.2195	0.0924	0.1804	0.1806	18.9867
1.4631	18.0	6030	1.8869	0.219	0.091	0.1802	0.1802	18.972
1.4631	19.0	6365	1.8886	0.2201	0.092	0.1819	0.1819	18.9847
1.4345	20.0	6700	1.8879	0.2188	0.0915	0.181	0.1808	18.98

Framework versions

Transformers 4.38.2
Pytorch 2.2.1+cu121
Datasets 2.18.0
Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: T5ForConditionalGeneration
Ревизия весов: ef8dead