Характеристики

Контекст: 1 024 токена
Параметры: 152 млн
Лицензия: Apache 2.0
Архитектура: bart · dense
Базовая модель: distilbart-cnn-6-6
Опубликована: 14 мая 2024

Ссылки

Hugging Face

thesis-bart-finetuned-on-transformed

roofdancer

Языковая модель

Дообученная модель DistilBART для генерации кратких сводок английских текстов.

6скачиваний за 30 дней0лайковвеса обновлены14 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель roofdancer/thesis-bart-finetuned-on-transformed — дообученная на неизвестном наборе данных модель DistilBART-CNN-6-6, опубликованная в формате safetensors. Она предназначена для генерации текста и может использоваться для суммирования документов; базовая модель создана для англоязычного автоматического суммирования. Архитектура — BART с 152,1 млн параметров и контекстом до 1024 токенов.

В карточке приведены результаты оценки: ROUGE-1 39,68, ROUGE-2 13,50, ROUGE-L 21,03 и ROUGE-Lsum 35,58; средняя длина генерации — около 141 токена. Данные обучения, точное назначение преобразований в названии и подробные ограничения не описаны. Лицензия — Apache-2.0.

Сценарии применения

суммирование английских статей
составление кратких сводок документов
подготовка конспектов длинных текстов

Ограничения

Модель дообучена на неизвестном наборе данных, поэтому её поведение и область применимости за пределами суммирования неясны. Контекст ограничен 1024 токенами.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

thesis-bart-finetuned-on-transformed

This model is a fine-tuned version of sshleifer/distilbart-cnn-6-6 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 2.7334
Rouge1: 39.6832
Rouge2: 13.5041
Rougel: 21.0331
Rougelsum: 35.5827
Gen Len: 141.1176

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 1
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
2.829	1.0	2811	2.7334	39.6832	13.5041	21.0331	35.5827	141.1176

Framework versions

Transformers 4.39.3
Pytorch 2.1.2
Datasets 2.18.0
Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: BartForConditionalGeneration
Ревизия весов: 03f8758