Характеристики

Контекст: 512 токенов
Параметры: 124 млн
Архитектура: t5 · dense
Опубликована: 12 июн 2024

Ссылки

Hugging Face

weights

salahyahya

Языковая модель

Модель T5 на 123,8 млн параметров для генерации текста по текстовому вводу, обученная с нуля на неизвестных данных.

8скачиваний за 30 дней0лайковвеса обновлены12 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

salahyahya/weights — модель семейства T5 с архитектурой T5ForConditionalGeneration, содержащая 123,8 млн параметров. Согласно карточке, её обучили с нуля на неизвестном наборе данных; модель предназначена для генерации текста по текстовому вводу, а длина контекста составляет 512 токенов.

В карточке приведены результаты оценки: Loss 0,5900, ROUGE-1 71,7543, ROUGE-2 61,6318, ROUGE-L 71,0262 и ROUGE-Lsum 71,05. Конкретная задача, на которой получены эти оценки, и сценарии применения не описаны, поэтому результаты не позволяют определить специализацию модели. Доступны веса в формате safetensors; лицензия в предоставленных данных не указана.

Сценарии применения

генерация текста по текстовому запросу
преобразование текста в текст в задачах на архитектуре T5
экспериментальная оценка генерации текста по метрикам ROUGE

Ограничения

Обучающий набор данных, целевая задача и предназначенные сценарии использования не описаны, поэтому область применения и качество на конкретных задачах оценить нельзя. Лицензия в предоставленных данных не указана.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

weights

This model was trained from scratch on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.5900
Rouge1: 71.7543
Rouge2: 61.6318
Rougel: 71.0262
Rougelsum: 71.05
Gen Len: 17.2679

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
gradient_accumulation_steps: 6
total_train_batch_size: 96
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 1
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
0.6473	0.48	500	0.5969	71.6842	61.5104	70.9466	70.9698	17.2779
0.6444	0.96	1000	0.5900	71.7543	61.6318	71.0262	71.05	17.2679

Framework versions

Transformers 4.41.2
Pytorch 2.3.0+cu121
Datasets 2.19.2
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: T5ForConditionalGeneration
Ревизия весов: 74e7787