/ Модель
Каталог

Характеристики

Контекст
512 токенов
Параметры
124 млн
Лицензия
Apache 2.0
Архитектура
t5 · dense
Опубликована
7 мар 2023

Ссылки

Hugging FacearXiv 2210.11416

flan-t5-cnn

braindao
Языковая модель3 профессии

Дообученная на CNN/DailyMail модель Flan-T5 для создания кратких резюме англоязычных новостных статей.

18скачиваний за 30 дней1лайквеса обновлены10 мар 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

braindao/flan-t5-cnn — дообученная модель на базе google/flan-t5-base, созданная для суммаризации новостных статей CNN/DailyMail версии 3.0.0. Это encoder-decoder модель семейства T5 с 123,8 млн параметров; она принимает текст и генерирует текстовое резюме. Указанная длина контекста — 512 токенов.

На evaluation set для модели приведены ROUGE-1 42,14, ROUGE-2 19,77, ROUGE-L 30,15 и ROUGE-Lsum 39,32. Базовая модель поддерживает множество языков, но дообучение выполнено на англоязычном наборе CNN/DailyMail, поэтому её основное назначение — суммаризация новостей на английском языке. Лицензия — Apache 2.0.

Модель подходит для подготовки кратких пересказов новостных статей и обзоров новостных материалов. В карточке указано, что языковые модели могут генерировать вредоносный контент и Flan-T5 не следует напрямую применять в приложениях без дополнительной проверки; возможны неточности и пропуск важных деталей в резюме.

Сценарии применения

  • суммаризация новостных статей CNN/DailyMail
  • подготовка кратких пересказов англоязычных новостей
  • сжатие длинных новостных материалов для дайджеста

Ограничения

Карточка предупреждает, что Flan-T5 не следует напрямую использовать в приложениях без дополнительной проверки; сгенерированные резюме могут содержать ошибки или упускать важные детали. Модель дообучена на англоязычном CNN/DailyMail, поэтому качество для других языков не подтверждено.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделейI.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

base

model image

This model is a fine-tuned version of google/flan-t5-base on the cnn_dailymail 3.0.0 dataset. It achieves the following results on the evaluation set:

  • Loss: 1.4232
  • Rouge1: 42.1388
  • Rouge2: 19.7696
  • Rougel: 30.1512
  • Rougelsum: 39.3222
  • Gen Len: 71.8562

Model description

  • Model type: Language model
  • Language(s) (NLP): English, Spanish, Japanese, Persian, Hindi, French, Chinese, Bengali, Gujarati, German, Telugu, Italian, Arabic, Polish, Tamil, Marathi, Malayalam, Oriya, Panjabi, Portuguese, Urdu, Galician, Hebrew, Korean, Catalan, Thai, Dutch, Indonesian, Vietnamese, Bulgarian, Filipino, Central Khmer, Lao, Turkish, Russian, Croatian, Swedish, Yoruba, Kurdish, Burmese, Malay, Czech, Finnish, Somali, Tagalog, Swahili, Sinhala, Kannada, Zhuang, Igbo, Xhosa, Romanian, Haitian, Estonian, Slovak, Lithuanian, Greek, Nepali, Assamese, Norwegian
  • License: Apache 2.0
  • Related Models: All FLAN-T5 Checkpoints
  • Original Checkpoints: All Original FLAN-T5 Checkpoints
  • Resources for more information:

Intended uses & limitations

The information below in this section are copied from the model's official model card:

Language models, including Flan-T5, can potentially be used for language generation in a harmful way, according to Rae et al. (2021). Flan-T5 should not be used directly in any application,

Training and evaluation data

  • Loss: 1.4232
  • Rouge1: 42.1388
  • Rouge2: 19.7696
  • Rougel: 30.1512
  • Rougelsum: 39.3222
  • Gen Len: 71.8562

Training procedure

Training procedure example notebook for flan-T5 and pushing it to hub https://github.com/EveripediaNetwork/ai/blob/main/notebooks/Fine-Tuning-Flan-T5_1.ipynb

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0001
  • train_batch_size: 1
  • eval_batch_size: 4
  • seed: 42
  • gradient_accumulation_steps: 64
  • total_train_batch_size: 64
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: Constant
  • num_epochs: 3.0

Framework versions

  • Transformers 4.27.0.dev0
  • Pytorch 1.13.0+cu117
  • Datasets 2.7.1
  • Tokenizers 0.12.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры
T5ForConditionalGeneration
Ревизия весов
08a65c9

0 моделей

    Создать бенчмарк