/ Модель
Каталог

Характеристики

Контекст
512 токенов
Параметры
124 млн
Лицензия
MIT
Архитектура
t5 · dense
Базовая модель
ptt5-base-portuguese-vocab
Опубликована
19 окт 2023

Ссылки

Hugging Face

ptt5-xlsumm-30epochs

arthurmluz
Языковая модель3 профессии

Дообученная на XL-Sum португалоязычная модель T5 для суммаризации текстов.

9скачиваний за 30 дней0лайковвеса обновлены27 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

arthurmluz/ptt5-xlsumm-30epochs — дообученная модель семейства T5, созданная на основе unicamp-dl/ptt5-base-portuguese-vocab с использованием набора данных XL-Sum. Она предназначена для суммаризации текстов на португальском языке. Модель содержит 123,8 млн параметров, использует архитектуру T5ForConditionalGeneration и поддерживает контекст до 512 токенов.

На оценочной выборке указаны Loss 2,1787, ROUGE-1 0,3246, ROUGE-2 0,1471, ROUGE-L 0,2617 и ROUGE-Lsum 0,2641. Модель принимает текст и генерирует текстовое резюме. Распространяется по лицензии MIT.

Сценарии применения

  • суммаризация португалоязычных новостных статей
  • создание кратких резюме португальских документов
  • сжатие длинных текстов на португальском языке

Ограничения

Контекст ограничен 512 токенами. Показатели качества приведены только для оценочной выборки XL-Sum и не гарантируют качество на других типах текстов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельIII.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ptt5-xlsumm-30epochs

This model is a fine-tuned version of unicamp-dl/ptt5-base-portuguese-vocab on the xlsum dataset. It achieves the following results on the evaluation set:

  • Loss: 2.1787
  • Rouge1: 0.3246
  • Rouge2: 0.1471
  • Rougel: 0.2617
  • Rougelsum: 0.2641
  • Gen Len: 18.7065

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 2e-05
  • train_batch_size: 2
  • eval_batch_size: 2
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 30

Training results

Training LossEpochStepValidation LossRouge1Rouge2RougelRougelsumGen Len
2.55491.0287012.26310.30490.12320.24160.243618.8318
2.48782.0574022.20000.31340.13220.24970.251918.7965
2.30213.0861032.16540.31610.13540.25280.25518.732
2.28084.01148042.14230.31790.13760.25440.256518.7217
2.27315.01435052.12910.32020.14050.25670.25918.7037
2.16546.01722062.12090.32090.14170.25770.259818.6956
2.17167.02009072.11730.32130.14230.25840.260618.7256
2.06968.02296082.11360.32340.14410.26030.262718.7352
2.04929.02583092.11230.32140.14250.25890.26118.6357
2.095310.02870102.11360.32440.1460.26110.263418.7001
2.035811.03157112.11800.32480.14660.26170.263918.6868
1.947512.03444122.11910.32430.14630.26140.263718.6707
2.019413.03731132.11810.32530.14660.26160.26418.6939
1.92514.04018142.12360.32320.14540.26040.262918.6843
1.919415.04305152.12940.32390.14640.26120.263618.6792
1.916316.04592162.13010.32480.14640.2610.263518.701
1.848217.04879172.13660.3250.14730.26190.264418.6786
1.863718.05166182.13870.32630.14830.26240.264818.6811
1.849619.05453192.14250.32440.14610.26130.263718.6934
1.856520.05740202.15130.32570.14790.26260.264918.702
1.768321.06027212.15590.32610.14820.26220.264618.718
1.748322.06314222.15770.32540.14820.26250.264918.6939
1.783223.06601232.16140.32340.1470.26160.26418.7033
1.800224.06888242.16250.32460.14770.26260.264918.682
1.738125.07175252.16890.32530.14730.26170.264118.7289
1.736726.07462262.16770.32550.14750.26260.264918.7015
1.75227.07749272.17600.32550.14820.26310.265418.7146
1.759528.08036282.17530.32410.14680.26160.26418.7036
1.77729.08323292.17850.32460.14740.26180.264318.7089
1.714230.08610302.17870.32460.14710.26170.264118.7065

Framework versions

  • Transformers 4.33.2
  • Pytorch 2.0.1+cu117
  • Datasets 2.14.5
  • Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры
T5ForConditionalGeneration
Ревизия весов
e06c61a

0 моделей

    Создать бенчмарк