Характеристики

Контекст: 1 024 токена
Параметры: 253 млн
Лицензия: MIT
Архитектура: bart · dense
Базовая модель: bart-large-cnn
Библиотека: transformers
Опубликована: 18 дек 2024

Ссылки

Hugging Face

finetuned-bart-by-samsum

navamivk

Языковая модель

Дообученная на SAMSum англоязычная модель BART для краткого пересказа диалогов и бесед.

9скачиваний за 30 дней0лайковвеса обновлены18 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

navamivk/finetuned-bart-by-samsum — англоязычная модель BART, дообученная на наборе диалогов SAMSum для создания кратких пересказов бесед. Она основана на facebook/bart-large-cnn, содержит 252,8 млн параметров и использует архитектуру BartForConditionalGeneration; максимальный контекст составляет 1024 токена. Модель предназначена для суммаризации текстовых диалогов, например переписок и стенограмм.

В README указана оценка loss 0,1365 на наборе для оценки, однако подробности методики не приводятся. Модель распространяется по лицензии MIT.

Сценарии применения

краткий пересказ переписки
суммаризация стенограммы беседы
выделение основных тем диалога
создание краткого отчёта по разговору

Ограничения

Модель дообучена для суммаризации диалогов на SAMSum; качество на других типах текстов не установлено. README сообщает значение loss на оценочном наборе, но не описывает методику оценки.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

finetuned-bart-by-samsum

This model is a fine-tuned version of facebook/bart-large-cnn on the samsum dataset. It achieves the following results on the evaluation set:

Loss: 0.1365

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
num_epochs: 1

Training results

Training Loss	Epoch	Step	Validation Loss
0.6464	1.0	19	0.1365

Framework versions

Transformers 4.46.3
Pytorch 2.5.1+cu121
Datasets 3.2.0
Tokenizers 0.20.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

У модели не указана задача.

Класс архитектуры: BartForConditionalGeneration
Ревизия весов: 35c440c