Характеристики

Контекст: 512 токенов
Параметры: 124 млн
Лицензия: Apache 2.0
Архитектура: t5 · dense
Базовая модель: t5-base
Опубликована: 23 мар 2024

Ссылки

Hugging Face

superglue_rte-t5-base

kennethge123

Классификация текстаТекст → label3 профессии

Дообученная на SuperGLUE модель T5-base для классификации текстовых пар и распознавания следования.

8скачиваний за 30 дней0лайковвеса обновлены25 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

kennethge123/superglue_rte-t5-base — модель T5-base, дообученная на наборе SuperGLUE для классификации текстовых последовательностей. Она предназначена для задач распознавания текстового следования: определить, следует ли гипотеза из заданного текста. Модель содержит 123,8 млн параметров, использует архитектуру T5ForSequenceClassification и принимает текст с контекстом до 512 токенов. В README указана точность 0,8406 на оценочной выборке; лицензия — Apache-2.0.

Сценарии применения

определение, следует ли гипотеза из текста
классификация пар «посылка — гипотеза»
оценка текстового следования в задачах NLI

Ограничения

README приводит точность 0,8406 на оценочной выборке, но не уточняет протокол оценки. Карточка не содержит сведений о более широких ограничениях или поведении вне задачи SuperGLUE RTE.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

superglue_rte-t5-base

This model is a fine-tuned version of t5-base on the super_glue dataset. It achieves the following results on the evaluation set:

Loss: 1.8826
Accuracy: 0.8406

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 4
eval_batch_size: 32
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 20

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
0.7037	1.0	623	0.6646	0.5797
0.6448	2.0	1246	0.5461	0.7899
0.4943	3.0	1869	0.8069	0.7536
0.3854	4.0	2492	1.2553	0.8188
0.1244	5.0	3115	1.4887	0.7826
0.0836	6.0	3738	1.7422	0.7681
0.0672	7.0	4361	1.7002	0.8116
0.0449	8.0	4984	1.9237	0.7971
0.0246	9.0	5607	1.7064	0.7899
0.0239	10.0	6230	1.4433	0.8551
0.0233	11.0	6853	2.1623	0.7754
0.0348	12.0	7476	2.2059	0.7754
0.0268	13.0	8099	1.9322	0.8261
0.0076	14.0	8722	2.5687	0.7464
0.0117	15.0	9345	2.3024	0.7899
0.0129	16.0	9968	2.0848	0.7971
0.0206	17.0	10591	1.9453	0.8333
0.0162	18.0	11214	2.1232	0.7971
0.0132	19.0	11837	1.9754	0.8406
0.0098	20.0	12460	1.8826	0.8406

Framework versions

Transformers 4.32.1
Pytorch 1.13.0+cu117
Datasets 2.15.0
Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: T5ForSequenceClassification
Ревизия весов: e6d2776