/ Модель
Каталог

Характеристики

Параметры
124 млн
Архитектура
t5 · dense
Базовая модель
IndoT5-base
Опубликована
31 окт 2023

Ссылки

Hugging Face

IndoT5-base-nafkhan-epochs-1

abdiharyadi
Языковая модель3 профессии

Дообученная на базе IndoT5-base модель T5 для задач преобразования текста, назначение дообучения которой не раскрыто.

9скачиваний за 30 дней0лайковвеса обновлены7 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

IndoT5-base-nafkhan-epochs-1 — дообученная модель семейства T5 на основе Wikidepia/IndoT5-base. В репозитории доступны веса PyTorch и Safetensors; модель содержит около 123,8 млн параметров. README сообщает о дообучении на датасете, обозначенном как None, и значении loss 0,2250 на оценочной выборке, но не раскрывает назначение обучения или состав данных.

Модель предназначена для преобразования текста в текст на индонезийском языке и может применяться в задачах генерации текста по текстовому запросу. Карточка не описывает конкретные сценарии использования, контекстное окно или ограничения качества, поэтому соответствие модели конкретной задаче следует проверять отдельно. Условия лицензии в предоставленных данных не указаны.

Сценарии применения

  • генерация текста по текстовому запросу
  • эксперименты с задачами text-to-text на индонезийском языке
  • оценка дообученной модели T5 на собственных текстовых данных

Ограничения

README не описывает целевую задачу, данные обучения и ограничения модели; датасет обозначен как None. Лицензия и длина контекста в доступных данных отсутствуют.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельI.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

IndoT5-base-nafkhan-epochs-1

This model is a fine-tuned version of Wikidepia/IndoT5-base on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 0.2250

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0001
  • train_batch_size: 2
  • eval_batch_size: 2
  • seed: 42
  • gradient_accumulation_steps: 2
  • total_train_batch_size: 4
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: polynomial
  • lr_scheduler_warmup_steps: 200
  • num_epochs: 1

Training results

Training LossEpochStepValidation Loss
0.28291.0232170.2250

Framework versions

  • Transformers 4.35.0
  • Pytorch 2.0.0
  • Datasets 2.14.6
  • Tokenizers 0.14.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры
T5ForConditionalGeneration
Ревизия весов
611408a

0 моделей

    Создать бенчмарк