/ Модель
Каталог

Характеристики

Параметры
291 млн
Лицензия
Apache 2.0
Архитектура
mt5 · dense
Опубликована
15 ноя 2023

Ссылки

Hugging Face

mt5-base-finetuned-test_30483_prefix_summarize-finetuned-test_21911_prefix_summarize

emilstabil
Языковая модель4 профессии

Дообученная модель mT5 для суммаризации текста.

10скачиваний за 30 дней0лайковвеса обновлены15 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это дообученная версия модели emilstabil/mt5-base-finetuned-test_30483_prefix_summarize на основе архитектуры mT5 с примерно 291,2 млн параметров. По названию базовой модели и оценке ROUGE на тестовом наборе модель предназначена для суммаризации текста; в README приведены значения ROUGE-1 26,765, ROUGE-2 7,4581, ROUGE-L 17,0907 и ROUGE-Lsum 24,6176.

Модель принимает текст и генерирует текстовое резюме. Базовая модель связана с задачей суммаризации, однако сведения о языках, контексте, обучающих данных и предполагаемых сценариях применения не приведены. Модель распространяется по лицензии Apache-2.0.

Сценарии применения

  • создание краткого резюме текста
  • суммаризация документов
  • сжатие длинных текстов

Ограничения

README содержит мало сведений о назначении, данных и ограничениях модели; приведённые метрики относятся только к указанному оценочному набору.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельI.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

mt5-base-finetuned-test_30483_prefix_summarize-finetuned-test_21911_prefix_summarize

This model is a fine-tuned version of emilstabil/mt5-base-finetuned-test_30483_prefix_summarize on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 2.3442
  • Rouge1: 26.765
  • Rouge2: 7.4581
  • Rougel: 17.0907
  • Rougelsum: 24.6176
  • Gen Len: 86.94

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 2
  • eval_batch_size: 2
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 20

Training results

Training LossEpochStepValidation LossRouge1Rouge2RougelRougelsumGen Len
2.59631.255002.363824.46767.347716.294822.549975.59
2.42342.510002.343325.33227.286316.235223.330476.8
2.31963.7515002.330825.56327.126416.416423.494682.05
2.25195.020002.331525.06377.112316.122323.040874.67
2.16236.2525002.348726.43757.337316.626424.239180.73
2.11457.530002.337625.7037.282416.569823.539177.68
2.06688.7535002.341625.50627.238516.479723.387577.94
2.017510.040002.333026.10317.58116.743523.866879.52
1.975711.2545002.345326.89417.397716.692224.481189.72
1.952712.550002.335427.05847.705717.304324.876483.53
1.926313.7555002.344426.72637.576316.977224.414585.38
1.907215.060002.339326.68757.332616.940524.444287.55
1.867816.2565002.339026.10987.236716.642624.027383.85
1.88217.570002.338826.66877.54317.199424.523584.56
1.826918.7575002.344727.32327.863217.351825.126387.26
1.840320.080002.344226.7657.458117.090724.617686.94

Framework versions

  • Transformers 4.32.1
  • Pytorch 2.1.0
  • Datasets 2.12.0
  • Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры
MT5ForConditionalGeneration
Ревизия весов
bf872ac

0 моделей

    Создать бенчмарк