Характеристики

Контекст: 1 024 токена
Параметры: 253 млн
Лицензия: MIT
Архитектура: bart · dense
Базовая модель: bart-large-xsum
Библиотека: transformers
Опубликована: 25 сен 2024

Ссылки

Hugging Face

highlight_summary_model_trained_on_reduced_data

SumanNazir

Языковая модель

Дообученная на сокращённых данных модель BART-large-XSum для создания кратких пересказов текста.

9скачиваний за 30 дней1лайквеса обновлены2 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SumanNazir/highlight_summary_model_trained_on_reduced_data — дообученная модель BART-large-XSum на неизвестном наборе данных для создания кратких пересказов и выделения основных мыслей текста. Она содержит 252,8 млн параметров, использует архитектуру BartForConditionalGeneration и принимает последовательности длиной до 1024 токенов. В README приведены результаты оценки: ROUGE-1 0,4538, ROUGE-2 0,1996, ROUGE-L 0,3416 и ROUGE-Lsum 0,342.

Модель предназначена для суммаризации текста. Базовая модель обучалась для создания англоязычных пересказов; отдельные сведения о языках и сценариях применения этой версии не приведены. Репозиторий использует библиотеку Transformers и формат весов safetensors. Лицензия — MIT.

Сценарии применения

создание краткого пересказа статьи
выделение основных мыслей из текста
автоматическое сокращение англоязычного текста

Ограничения

Данные обучения и подробности предполагаемого применения не описаны. Контекст ограничен 1024 токенами; в README приведены результаты только на оценочном наборе без его описания.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

highlight_summary_model_trained_on_reduced_data

This model is a fine-tuned version of facebook/bart-large-xsum on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 1.9996
Rouge1: 0.4538
Rouge2: 0.1996
Rougel: 0.3416
Rougelsum: 0.342
Generated Length: 34.9394

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 2
eval_batch_size: 2
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 2
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Generated Length
No log	1.0	263	2.0074	0.429	0.184	0.3353	0.3352	32.6742
1.8594	2.0	526	1.9996	0.4538	0.1996	0.3416	0.342	34.9394

Framework versions

Transformers 4.44.2
Pytorch 2.4.1+cu121
Datasets 3.0.1
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

У модели не указана задача.

Класс архитектуры: BartForConditionalGeneration
Ревизия весов: 9c186b9