Характеристики

Параметры: 124 млн
Архитектура: t5 · dense
Базовая модель: IndoT5-base-nafkhan-epochs-2
Опубликована: 31 окт 2023

Ссылки

Hugging Face

IndoT5-base-nafkhan-epochs-3

abdiharyadi

Языковая модель

Дообученная модель T5 на 123,8 млн параметров для преобразования текста в текст с нераскрытым назначением обучения.

10скачиваний за 30 дней0лайковвеса обновлены9 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

abdiharyadi/IndoT5-base-nafkhan-epochs-3 — дообученная модель семейства T5, созданная на основе abdiharyadi/IndoT5-base-nafkhan-epochs-2. Она содержит 123,8 млн параметров и предназначена для преобразования текста в текст. Веса опубликованы в форматах PyTorch и safetensors.

В карточке указано значение Loss 0,1689 на наборе оценки, однако назначение обучения и предполагаемые пользовательские сценарии не описаны. Модель может быть полезна для текстовых задач, соответствующих данным дообучения, но оценить качество для конкретного применения по имеющейся информации нельзя. Условия лицензии не приведены.

Сценарии применения

Преобразование текста в текст в соответствии с задачей дообучения

Ограничения

Назначение обучения, поддерживаемые языки и пользовательские сценарии не раскрыты, поэтому качество для конкретных задач оценить нельзя. Лицензия не указана в предоставленных данных.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

IndoT5-base-nafkhan-epochs-3

This model is a fine-tuned version of abdiharyadi/IndoT5-base-nafkhan-epochs-2 on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.1689

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0001
train_batch_size: 2
eval_batch_size: 2
seed: 242
gradient_accumulation_steps: 2
total_train_batch_size: 4
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: polynomial
lr_scheduler_warmup_steps: 200
num_epochs: 1

Training results

Training Loss	Epoch	Step	Validation Loss
0.1935	1.0	23217	0.1689

Framework versions

Transformers 4.35.0
Pytorch 2.0.0
Datasets 2.14.6
Tokenizers 0.14.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: T5ForConditionalGeneration
Ревизия весов: 6303c97