Характеристики

Контекст: 512 токенов
Параметры: 124 млн
Архитектура: t5 · dense
Базовая модель: t5-base-finetuned-common_gen
Опубликована: 10 апр 2024

Ссылки

Hugging Face

T5-based-Masked-keywords-to-Sentence-Epoch-10

Ziyi98

Языковая модель

Дообученная модель T5 генерирует короткие английские предложения по наборам ключевых слов и понятий.

8скачиваний за 30 дней0лайковвеса обновлены10 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это дообученная модель T5-base на основе mrm8488/t5-base-finetuned-common_gen, опубликованная пользователем Ziyi98. Она генерирует связные предложения по наборам ключевых слов или понятий; базовая модель обучена для генерации английских предложений по понятиям повседневных ситуаций. Модель содержит 123,8 млн параметров, использует архитектуру T5ForConditionalGeneration и формат safetensors. Длина контекста составляет 512 токенов.

Модель подходит для преобразования списка понятий в предложение и генерации коротких текстов по ключевым словам. В README указаны результаты оценки: Loss 2.3073, BLEU 6.3322 и средняя длина генерации 13.3222. Датасет дообучения не назван, поэтому эти результаты не позволяют судить о качестве на произвольных данных. Условия лицензии в предоставленных сведениях не указаны.

Сценарии применения

составление предложения по списку ключевых слов
генерация короткого описания по набору понятий
создание примеров для упражнений по английскому языку

Ограничения

Датасет дообучения не назван; указанные метрики относятся только к оценочному набору и не гарантируют качество для других входов. В предоставленных сведениях нет информации о лицензии.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

T5-based-Masked-keywords-to-Sentence-Epoch-10

This model is a fine-tuned version of mrm8488/t5-base-finetuned-common_gen on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 2.3073
Bleu: 6.3322
Gen Len: 13.3221

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 128
eval_batch_size: 128
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 10
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Bleu	Gen Len
2.255	1.0	527	2.2946	6.3492	13.0607
2.2177	2.0	1054	2.2913	6.3936	13.0821
2.2031	3.0	1581	2.2970	6.3451	13.1381
2.1827	4.0	2108	2.2992	6.4297	13.1899
2.1762	5.0	2635	2.3026	6.3671	13.3084
2.1623	6.0	3162	2.3047	6.3458	13.343
2.1572	7.0	3689	2.3061	6.3492	13.3079
2.1461	8.0	4216	2.3054	6.3986	13.3081
2.1466	9.0	4743	2.3075	6.3311	13.2982
2.1402	10.0	5270	2.3073	6.3322	13.3221

Framework versions

Transformers 4.37.2
Pytorch 2.2.2+cu118
Datasets 2.18.0
Tokenizers 0.15.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: T5ForConditionalGeneration
Ревизия весов: 6d78033