Характеристики

Контекст: 1 024 токена
Параметры: 152 млн
Лицензия: Apache 2.0
Архитектура: bart · dense
Базовая модель: distilbart-cnn-6-6
Опубликована: 2 мая 2024

Ссылки

Hugging Face

thesis-bart-finetuned

roofdancer

Языковая модель

Дообученная англоязычная модель DistilBART для генерации кратких пересказов текста.

7скачиваний за 30 дней0лайковвеса обновлены2 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

roofdancer/thesis-bart-finetuned — дообученная модель на архитектуре BART, созданная на основе sshleifer/distilbart-cnn-6-6. Она содержит 152,1 млн параметров и принимает текст длиной до 1024 токенов. Англоязычная базовая модель предназначена для автоматического суммирования; README сообщает о дообучении на неизвестном наборе данных и приводит метрики оценки: ROUGE-1 40,66, ROUGE-2 14,50 и ROUGE-L 21,81.

Модель подходит для экспериментов с суммированием текста и генерации кратких версий документов. README не описывает конкретную специализацию дообучения, сценарии применения или ограничения качества. Лицензия — Apache-2.0.

Сценарии применения

суммирование англоязычных статей
сокращение длинных документов
генерация краткого пересказа текста

Ограничения

Данные обучения не описаны, поэтому специализацию и переносимость качества на разные типы текстов оценить нельзя. Контекст ограничен 1024 токенами.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

thesis-bart-finetuned

This model is a fine-tuned version of sshleifer/distilbart-cnn-6-6 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 2.4528
Rouge1: 40.6581
Rouge2: 14.5046
Rougel: 21.8144
Rougelsum: 36.4842
Gen Len: 141.4392

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 1
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
2.5368	1.0	2811	2.4528	40.6581	14.5046	21.8144	36.4842	141.4392

Framework versions

Transformers 4.39.3
Pytorch 2.1.2
Datasets 2.18.0
Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: BartForConditionalGeneration
Ревизия весов: 4cd4243