/ Модель
Каталог

Характеристики

Параметры
291 млн
Лицензия
Apache 2.0
Архитектура
mt5 · dense
Базовая модель
DanSumT5-base-finetuned-test_6887
Опубликована
14 ноя 2023

Ссылки

Hugging Face

DanSumT5-base-finetuned-test_6887-finetuned-test_1006

emilstabil
Языковая модель3 профессии

Дообученная модель mT5 для суммаризации датских текстов.

8скачиваний за 30 дней0лайковвеса обновлены14 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

emilstabil разработал эту модель как дообученную версию emilstabil/DanSumT5-base-finetuned-test_6887. Это генеративная модель семейства mT5 с архитектурой MT5ForConditionalGeneration и 291,2 млн параметров; веса опубликованы в формате PyTorch.

По названию модели и результатам оценки можно предположить, что она предназначена для суммаризации датских текстов. В README приведены метрики на тестовом наборе: ROUGE-1 32,41, ROUGE-2 8,64, ROUGE-L 18,81 и ROUGE-Lsum 29,93; описание датасета и сценариев применения не раскрыто.

Модель распространяется по лицензии Apache-2.0. Данных о длине контекста, языках в метаданных и ограничениях применения нет.

Сценарии применения

  • составление краткого содержания датских текстов
  • суммаризация датских документов
  • создание кратких выжимок из датских статей

Ограничения

README не описывает обучающий набор данных и предполагаемые сценарии применения; приведённые метрики не позволяют оценить качество на других данных. Длина контекста не указана.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельI.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

DanSumT5-base-finetuned-test_6887-finetuned-test_1006

This model is a fine-tuned version of emilstabil/DanSumT5-base-finetuned-test_6887 on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 2.3820
  • Rouge1: 32.4141
  • Rouge2: 8.6351
  • Rougel: 18.809
  • Rougelsum: 29.928
  • Gen Len: 126.58

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 2
  • eval_batch_size: 2
  • seed: 42
  • gradient_accumulation_steps: 4
  • total_train_batch_size: 8
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 15

Training results

Training LossEpochStepValidation LossRouge1Rouge2RougelRougelsumGen Len
No log1.01002.495731.43787.764817.949828.7898126.46
No log2.02002.471831.34377.878817.969229.1104126.8
No log3.03002.446531.62657.99418.059928.8198126.42
No log4.04002.425031.69748.006618.312729.2615126.65
2.46455.05002.419531.81137.978318.282729.1518126.93
2.46456.06002.408931.8038.395818.528229.352125.56
2.46457.07002.402232.11028.367818.612729.5849126.29
2.46458.08002.391631.44997.936518.348529.047126.95
2.46459.09002.389332.53088.427818.424229.8826126.75
2.221710.010002.389531.87997.92418.378429.2475126.55
2.221711.011002.386431.57318.129418.681229.3378126.01
2.221712.012002.384332.18148.589618.955529.8291126.04
2.221713.013002.380732.18.570718.753829.7206126.29
2.221714.014002.380932.39838.719918.938130.0217126.58
2.118115.015002.382032.41418.635118.80929.928126.58

Framework versions

  • Transformers 4.32.1
  • Pytorch 2.1.0
  • Datasets 2.12.0
  • Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры
MT5ForConditionalGeneration
Ревизия весов
a57c1f1

0 моделей

    Создать бенчмарк