Характеристики

Параметры: 124 млн
Архитектура: t5 · dense
Базовая модель: IndoT5-base-nafkhan-epochs-4
Опубликована: 14 ноя 2023

Ссылки

Hugging Face

IndoT5-base-nafkhan-epochs-5

abdiharyadi

Языковая модель

Дообученная модель T5 на 123,8 млн параметров для преобразования текста в текст с нераскрытым назначением обучения.

10скачиваний за 30 дней0лайковвеса обновлены14 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

IndoT5-base-nafkhan-epochs-5 — дообученная модель семейства T5, разработанная abdiharyadi на основе abdiharyadi/IndoT5-base-nafkhan-epochs-4. Это модель преобразования текста в текст с архитектурой T5ForConditionalGeneration и 123,8 млн параметров. В карточке указана оценка Loss 0,1567 на наборе для оценки, но назначение обучения и конкретные сценарии применения не раскрыты. Модель опубликована в формате safetensors; лицензия не указана в доступных сведениях.

Сценарии применения

генерация текста по текстовому запросу
преобразование одного текста в другой формат
эксперименты с дообучением T5

Ограничения

Назначение обучения, обучающие данные, языковая поддержка и условия лицензии не раскрыты. Приведённая оценка Loss не описывает качество на конкретных прикладных задачах.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

IndoT5-base-nafkhan-epochs-5

This model is a fine-tuned version of abdiharyadi/IndoT5-base-nafkhan-epochs-4 on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.1567

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0001
train_batch_size: 2
eval_batch_size: 2
seed: 442
gradient_accumulation_steps: 2
total_train_batch_size: 4
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: polynomial
lr_scheduler_warmup_steps: 200
num_epochs: 1

Training results

Training Loss	Epoch	Step	Validation Loss
0.1536	1.0	23217	0.1567

Framework versions

Transformers 4.35.0
Pytorch 2.0.0
Datasets 2.14.6
Tokenizers 0.14.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: T5ForConditionalGeneration
Ревизия весов: a7402ad