Характеристики

Параметры: 291 млн
Лицензия: Apache 2.0
Архитектура: mt5 · dense
Базовая модель: mt5-base
Опубликована: 14 ноя 2023

Ссылки

Hugging Face

mt5-base-finetuned-test_30483_prefix_summarize

emilstabil

Языковая модель3 профессии

Дообученная версия многоязычной mT5-base для генерации текста, предположительно суммаризации по префиксу.

11скачиваний за 30 дней0лайковвеса обновлены14 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

emilstabil/mt5-base-finetuned-test_30483_prefix_summarize — дообученная модель на базе Google mT5-base, предназначенная для генерации текста. По названию репозитория она ориентирована на суммаризацию с префиксом, однако README не описывает её назначение подробнее и указывает датасет как None. Модель построена на архитектуре MT5ForConditionalGeneration и содержит 291,2 млн параметров.

В README приведены результаты оценки: Loss 2,3527, ROUGE-1 23,6141, ROUGE-2 7,1791, ROUGE-L 16,0152, ROUGE-Lsum 21,8213 и средняя длина генерации 69,64 токена. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Подробные сведения о данных обучения, поддерживаемых языках и ограничениях не приведены.

Сценарии применения

экспериментальная суммаризация текста с префиксом
генерация текста в задачах text-to-text

Ограничения

Описание датасета и подробные сведения о предназначении и ограничениях отсутствуют; приведены только метрики оценки, поэтому качество для конкретных сценариев по ним не установить.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

mt5-base-finetuned-test_30483_prefix_summarize

This model is a fine-tuned version of google/mt5-base on the None dataset. It achieves the following results on the evaluation set:

Loss: 2.3527
Rouge1: 23.6141
Rouge2: 7.1791
Rougel: 16.0152
Rougelsum: 21.8213
Gen Len: 69.64

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 2
eval_batch_size: 2
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 15

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
7.4668	1.25	500	2.6478	10.4597	4.2457	8.7184	9.8473	18.49
3.3231	2.5	1000	2.5146	17.7315	6.0795	13.5384	16.6839	40.55
3.0956	3.75	1500	2.4512	20.2871	6.4051	14.8508	18.8768	51.35
2.9928	5.0	2000	2.4180	21.4196	6.629	15.2607	20.1471	57.92
2.8802	6.25	2500	2.4030	21.7949	6.7926	15.2506	20.338	61.05
2.8243	7.5	3000	2.3856	21.7075	6.7397	15.0044	20.1744	61.19
2.7646	8.75	3500	2.3847	22.4137	6.7644	14.9987	20.7797	63.81
2.7096	10.0	4000	2.3691	22.3403	6.9812	15.5411	20.6166	62.79
2.6758	11.25	4500	2.3612	23.6542	7.2355	15.9979	21.9807	69.83
2.6579	12.5	5000	2.3556	23.7473	7.5446	16.0314	21.917	69.75
2.651	13.75	5500	2.3557	23.9711	7.5018	16.2033	22.2811	69.29
2.639	15.0	6000	2.3527	23.6141	7.1791	16.0152	21.8213	69.64

Framework versions

Transformers 4.32.1
Pytorch 2.1.0
Datasets 2.12.0
Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: MT5ForConditionalGeneration
Ревизия весов: 90332a6