Характеристики

Контекст: 1 024 токена
Параметры: 253 млн
Лицензия: MIT
Архитектура: bart · dense
Базовая модель: bart-large-cnn
Опубликована: 10 июн 2024

Ссылки

Hugging Face

bart-cnn-samsum-finetuned

ishjha1

Языковая модель

Дообученная на SAMSum англоязычная BART-модель для краткого пересказа разговоров и других текстов.

8скачиваний за 30 дней0лайковвеса обновлены10 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ishjha1/bart-cnn-samsum-finetuned — дообученная автором репозитория модель facebook/bart-large-cnn на датасете SAMSum. Она предназначена для автоматического составления кратких пересказов текстов, в частности диалогов и разговоров, представленных в SAMSum. Модель построена на архитектуре BART с 252,8 млн параметров и принимает текстовые последовательности длиной до 1024 токенов, выдавая текстовое резюме.

Модель наследует англоязычную специализацию базовой BART для суммаризации; карточка сообщает результат оценки Loss 0,0921 на тестовой выборке, но не уточняет методику оценки. Опубликована под лицензией MIT. README не описывает дополнительные сценарии применения и ограничения качества.

Сценарии применения

краткий пересказ диалогов
суммирование переписки
создание резюме разговоров
сокращение длинных текстовых материалов

Ограничения

Контекст ограничен 1024 токенами; качество за пределами сценариев суммаризации диалогов на SAMSum отдельно не описано. Показатель Loss 0,0921 приведён без подробностей методики оценки.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bart-cnn-samsum-finetuned

This model is a fine-tuned version of facebook/bart-large-cnn on the samsum dataset. It achieves the following results on the evaluation set:

Loss: 0.0921

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss
0.0847	1.0	369	0.0793
0.0634	2.0	738	0.0779
0.0406	3.0	1107	0.0824
0.0348	4.0	1476	0.0888
0.0317	5.0	1845	0.0921

Framework versions

Transformers 4.41.2
Pytorch 2.3.0+cu121
Datasets 2.19.2
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: BartForConditionalGeneration
Ревизия весов: 5d35711