/ Модель
Каталог

Характеристики

Параметры
291 млн
Лицензия
Apache 2.0
Архитектура
mt5 · dense
Базовая модель
mt5-base
Опубликована
22 фев 2024

Ссылки

Hugging Face

deed_summarization_mt5_version_1

Hasanur525
Языковая модель11 профессий

Дообученная на базе Google mT5-base модель для создания краткого содержания текста.

11скачиваний за 30 дней0лайковвеса обновлены22 фев 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Hasanur525/deed_summarization_mt5_version_1 — дообученная Hasanur525 модель Google mT5-base для суммаризации текстов. Она построена на архитектуре MT5ForConditionalGeneration и содержит 291,2 млн параметров. Многоязычная базовая модель преобразует текст в текст; модель сохранена в формате safetensors.

Модель предназначена для создания краткого содержания входного текста. В README приведены метрики на оценочном наборе: Loss 0,5863, ROUGE-1 1,0138, ROUGE-2 0,6875, ROUGE-L 1,0233, ROUGE-Lsum 1,0941 и средняя длина генерации около 288 токенов. Датасет указан как None, поэтому по карточке нельзя установить предметную область обучения или проверить приведённые значения метрик.

Лицензия — Apache-2.0. README не сообщает об ограничениях применения или подтверждённых целевых языках; многоязычность относится к базовой модели и сама по себе не подтверждает качество суммаризации на каждом языке.

Сценарии применения

  • составление краткого содержания длинного текста
  • подготовка кратких обзоров документов
  • сжатие текста для быстрого ознакомления

Ограничения

В README не названы обучающий датасет и целевые языки, поэтому область применения и качество для конкретных языков оценить нельзя. Приведённые значения ROUGE выглядят необычно, а методика оценки не описана.

Для каких профессий подходит11

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельIII.8Корпоративные функцииДоговоры, юридическая работа и complianceAI помогает ускорять юридический анализ и compliance, не подменяя профессиональное заключение.25 задач1 953моделиIII.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

deed_summarization_mt5_version_1

This model is a fine-tuned version of google/mt5-base on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 0.5863
  • Rouge1: 1.0138
  • Rouge2: 0.6875
  • Rougel: 1.0233
  • Rougelsum: 1.0941
  • Gen Len: 288.1509

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 2e-05
  • train_batch_size: 2
  • eval_batch_size: 2
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 5000
  • num_epochs: 25

Training results

Training LossEpochStepValidation LossRouge1Rouge2RougelRougelsumGen Len
25.54221.037516.64670.64770.00.63830.663925.0
11.96262.075013.52140.66330.00.65530.674538.5912
10.10023.011257.42940.72570.00.71630.7264386.6164
2.88444.015002.85740.72570.00.71630.7264499.0
4.11835.018759.68930.72570.00.71630.7264499.0
1.44436.022502.42240.72570.00.71630.7264466.7673
3.85127.026251.58130.72570.00.71630.7264432.4717
8.65278.030001.45320.72570.00.71630.7264480.6164
0.53029.033751.15970.72570.00.71630.7264419.239
1.231110.037500.98060.98950.10060.91350.9189383.6855
0.890311.041250.89610.96090.15780.88710.8934376.6038
0.874212.045000.81091.11040.22431.00381.007388.3648
0.593413.048750.75880.31450.22870.31450.3145341.717
0.171514.052500.70730.27950.20130.27950.2795333.434
0.436315.056250.67800.43680.22870.43680.4368326.7044
1.073616.060000.66470.71630.51690.75120.7512299.4151
0.106917.063750.62940.8560.60380.8630.8595312.434
0.143418.067500.63580.75120.52220.78620.808291.4403
0.434419.071250.61641.10820.75761.13051.1574304.7484
0.103820.075000.60660.85720.61080.87580.9085297.3145
0.551921.078750.59720.43540.29350.53820.5382281.5786
0.080422.082500.59940.64640.55830.77410.7794305.805
0.369623.086250.58840.63620.32460.63620.6362291.434
0.396624.090000.58520.71330.4080.73110.8082281.9119
0.348425.093750.58631.01380.68751.02331.0941288.1509

Framework versions

  • Transformers 4.37.2
  • Pytorch 2.1.0.dev20230811+cu121
  • Datasets 2.17.0
  • Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры
MT5ForConditionalGeneration
Ревизия весов
5edfa8e

0 моделей

    Создать бенчмарк