Характеристики

Контекст: 512 токенов
Параметры: 38,5 млн
Лицензия: Apache 2.0
Архитектура: t5 · dense
Базовая модель: t5-small
Библиотека: transformers
Опубликована: 14 ноя 2024

Ссылки

Hugging Face

my_fantastic_patent_model

dmen24

Языковая модель

Дообученная T5-small для генерации текста по текстовому запросу, с названием, указывающим на патентную тематику.

6скачиваний за 30 дней0лайковвеса обновлены14 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

my_fantastic_patent_model — дообученная версия T5-small, созданная автором репозитория dmen24. Модель содержит около 38,5 млн параметров, использует архитектуру T5ForConditionalGeneration и доступна в формате safetensors. Она предназначена для генерации текста по текстовому запросу; название указывает на патентную тематику, но README не описывает специализированные сценарии или обучающие данные.

В карточке приведены метрики оценки: Loss 2,0021, ROUGE-1 0,2236, ROUGE-2 0,1231 и ROUGE-L 0,1932. Контекст ограничен 512 токенами. Модель распространяется по лицензии Apache-2.0. README не содержит сведений о языках, целевом применении и известных ограничениях качества.

Сценарии применения

генерация текста по текстовому запросу
эксперименты с дообучением T5 для патентных текстов
оценка качества генерации по метрикам ROUGE

Ограничения

README не описывает целевую задачу, обучающий набор данных или известные ограничения; приведённые метрики оценки сами по себе не позволяют судить о пригодности для конкретного сценария. Контекст ограничен 512 токенами.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

my_fantastic_patent_model

This model is a fine-tuned version of t5-small on the None dataset. It achieves the following results on the evaluation set:

Loss: 2.0021
Rouge1: 0.2236
Rouge2: 0.1231
Rougel: 0.1932
Rougelsum: 0.1933
Gen Len: 18.9373

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
num_epochs: 4
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
2.4015	1.0	625	2.0728	0.2182	0.116	0.1868	0.1868	18.9365
2.194	2.0	1250	2.0275	0.2215	0.1203	0.1911	0.1912	18.9371
2.1739	3.0	1875	2.0078	0.2235	0.1228	0.1931	0.1932	18.9371
2.1381	4.0	2500	2.0021	0.2236	0.1231	0.1932	0.1933	18.9373

Framework versions

Transformers 4.46.2
Pytorch 2.5.0+cu121
Datasets 3.1.0
Tokenizers 0.20.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

У модели не указана задача.

Класс архитектуры: T5ForConditionalGeneration
Ревизия весов: 87faf3f