Характеристики

Контекст: 1 024 токена
Параметры: 253 млн
Лицензия: MIT
Архитектура: bart · dense
Базовая модель: bart-large-cnn
Опубликована: 21 мар 2024

Ссылки

Hugging Face

bart-cnn-samsum-finetuned

Gundra

Языковая модель

Дообученная англоязычная модель BART для краткого пересказа текстов и, вероятно, диалогов.

7скачиваний за 30 дней0лайковвеса обновлены21 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Gundra/bart-cnn-samsum-finetuned — дообученная модель BART, созданная на основе facebook/bart-large-cnn. Она предназначена для генерации кратких пересказов текста; название указывает на настройку для диалогов SAMSum, однако README не подтверждает состав обучающих данных или специализацию на диалогах. Модель содержит 252,8 млн параметров, использует архитектуру BartForConditionalGeneration и принимает контекст длиной до 1024 токенов. Базовая модель рассчитана на английский язык.

Модель подходит для суммирования текстовых материалов и может применяться для получения кратких версий диалогов. В README приведено значение loss 0,1482 на оценочном наборе, но набор и методика оценки не описаны, поэтому этот результат не позволяет судить о качестве на других данных. Модель распространяется по лицензии MIT.

Сценарии применения

создание краткого пересказа статьи на английском языке
сжатие длинного текстового материала
суммирование переписки или диалога
подготовка краткого содержания документа

Ограничения

README не раскрывает обучающий датасет и ограничения применения; специализация на SAMSum следует только из названия репозитория. Указанный loss приведён без описания оценочного набора и методики.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bart-cnn-samsum-finetuned

This model is a fine-tuned version of facebook/bart-large-cnn on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.1482

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3

Training results

Training Loss	Epoch	Step	Validation Loss
0.1107	1.0	74	0.1465
0.0721	2.0	148	0.1337
0.0647	3.0	222	0.1482

Framework versions

Transformers 4.38.2
Pytorch 2.2.1+cu121
Datasets 2.18.0
Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: BartForConditionalGeneration
Ревизия весов: 1adefe4