Характеристики

Контекст: 1 024 токена
Параметры: 95,2 млн
Лицензия: Apache 2.0
Архитектура: bart · dense
Базовая модель: SummarEaseFocusV2
Опубликована: 17 июл 2024

Ссылки

Hugging Face

SummarEaseFocusV3

notBanana

Языковая модель

Дообученная на базе BART модель для создания кратких текстовых выводов и суммаризации.

8скачиваний за 30 дней0лайковвеса обновлены17 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SummarEaseFocusV3 — дообученная модель notBanana на базе notBanana/SummarEaseFocusV2, построенная на архитектуре BART и предназначенная для генерации текста по текстовому запросу. Её предполагаемое применение — суммаризация и подготовка кратких текстовых выводов; в README приведены метрики оценки ROUGE, однако подробности обучающих данных и сценариев использования не раскрыты.

Модель содержит 95,2 млн параметров, принимает текст с контекстом до 1024 токенов и выдаёт текст. Веса доступны в формате Safetensors. Модель распространяется по лицензии Apache-2.0. В README указаны оценки на тестовом наборе: ROUGE-1 0,2481, ROUGE-2 0,1215 и ROUGE-L 0,2151.

Сценарии применения

суммаризация коротких текстов
создание краткого вывода по документу
сжатие текста для заметки или аннотации

Ограничения

Данные обучения и подробные ограничения в карточке не описаны; приведённые оценки ROUGE относятся только к указанному тестовому набору. Контекст ограничен 1024 токенами.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SummarEaseFocusV3

This model is a fine-tuned version of notBanana/SummarEaseFocusV2 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 1.7999
Rouge1: 0.2481
Rouge2: 0.1215
Rougel: 0.2151
Rougelsum: 0.2151
Gen Len: 20.0

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 4
eval_batch_size: 4
seed: 42
gradient_accumulation_steps: 16
total_train_batch_size: 64
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 4
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
No log	1.0	1	1.8917	0.2091	0.0954	0.1797	0.177	20.0
No log	2.0	2	1.8909	0.2091	0.0954	0.1797	0.177	20.0
No log	3.0	3	1.8290	0.2386	0.1177	0.2084	0.2081	20.0
No log	4.0	4	1.7999	0.2481	0.1215	0.2151	0.2151	20.0

Framework versions

Transformers 4.42.4
Pytorch 2.3.1+cu121
Datasets 2.20.0
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: BartForConditionalGeneration
Ревизия весов: 30d734b