Характеристики

Контекст: 1 024 токена
Параметры: 367 млн
Архитектура: pegasus · dense
Базовая модель: summary-pumed-dataset-4
Опубликована: 28 мая 2024

Ссылки

summary-pumed-dataset-5

Языковая модель

Дообученная Pegasus-модель для генерации текста, предположительно предназначенная для суммаризации медицинских публикаций.

9скачиваний за 30 дней0лайковвеса обновлены28 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ifyou819/summary-pumed-dataset-5 — дообученная модель Pegasus объёмом 366,8 млн параметров для генерации текста. По описанию базовой модели из каталога, она предположительно предназначена для суммаризации медицинских публикаций; карточка этой версии не уточняет её назначение и данные обучения. Модель принимает текст и генерирует текст, длина контекста — 1024 токена.

В README приведено значение loss 4,4499 на оценочном наборе, но без описания набора и метрик это число не позволяет оценить качество применения. Модель опубликована в формате safetensors. Лицензия в предоставленных данных не указана.

Сценарии применения

Суммаризация медицинских публикаций
Составление краткого обзора научной статьи
Подготовка краткого содержания медицинского исследования

Ограничения

Карточка не раскрывает назначение и данные обучения этой версии; медицинская специализация указана для базовой модели и является предположительной. Значение loss приведено без сведений об оценочном наборе и потому не характеризует надёжность результатов в практических сценариях.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

summary-pumed-dataset-5

This model is a fine-tuned version of ifyou819/summary-pumed-dataset-4 on the None dataset. It achieves the following results on the evaluation set:

Loss: 4.4499

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-08
train_batch_size: 4
eval_batch_size: 4
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 4

Training results

Training Loss	Epoch	Step	Validation Loss
5.0027	1.0	1948	4.4502
4.9914	2.0	3896	4.4501
5.0377	3.0	5844	4.4499
5.0388	4.0	7792	4.4499

Framework versions

Transformers 4.41.1
Pytorch 2.1.2
Datasets 2.18.0
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: PegasusForConditionalGeneration
Ревизия весов: 52679cf