Характеристики

Контекст: 512 токенов
Параметры: 124 млн
Лицензия: Apache 2.0
Архитектура: t5 · dense
Базовая модель: t5-base
Опубликована: 5 июн 2024

Ссылки

Hugging Face

t5-base-fp-sick

varun-v-rao

Классификация текстаТекст → label

Дообученная на SICK модель T5-base для классификации текстовых примеров.

4скачиваний за 30 дней0лайковвеса обновлены5 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель varun-v-rao/t5-base-fp-sick — дообученная версия T5-base для классификации текста. Она обучена на наборе данных SICK и предназначена для отнесения текстовых примеров к классам в задачах классификации. Архитектура — плотная T5ForSequenceClassification; модель содержит 123,8 млн параметров и поддерживает контекст до 512 токенов.

В карточке указаны точность 0,8687 и loss 0,3640 на оценочной выборке. Модель распространяется по лицензии Apache-2.0. Подробности о классах, методике оценки и ограничениях применения не приведены.

Сценарии применения

классификация текстовых примеров из набора SICK
отнесение текстовых данных к заданным классам
эксперименты с классификацией на базе T5

Ограничения

В карточке не описаны набор классов и подробности оценки; указанная метрика относится только к оценочной выборке SICK. Контекст ограничен 512 токенами.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

t5-base-fp-sick

This model is a fine-tuned version of t5-base on the sick dataset. It achieves the following results on the evaluation set:

Loss: 0.3640
Accuracy: 0.8687

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 64
eval_batch_size: 32
seed: 94
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
No log	1.0	70	0.4544	0.8404
No log	2.0	140	0.3748	0.8626
No log	3.0	210	0.3640	0.8687

Framework versions

Transformers 4.35.2
Pytorch 2.0.1+cu118
Datasets 2.15.0
Tokenizers 0.15.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: T5ForSequenceClassification
Ревизия весов: b8b6f16