Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Лицензия: Apache 2.0
Архитектура: bert · dense

Ссылки

Hugging Face

bert-base-uncased-finetuned-rte

anirudh21

Классификация текстаТекст → label

Дообученная на GLUE модель BERT классифицирует, следует ли гипотеза из заданной посылки.

981скачиваний за 30 дней0лайковвеса обновлены27 янв 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это модель классификации текстовых последовательностей на базе BERT, разработанная как дообученная версия bert-base-uncased на датасете GLUE для задачи Recognizing Textual Entailment (RTE). Она предназначена для определения того, следует ли гипотеза из пары «посылка — гипотеза». Модель содержит 136,7 млн параметров, использует архитектуру BertForSequenceClassification, принимает текст и поддерживает контекст длиной до 512 токенов.

На указанной в карточке оценочной выборке достигла точности 0,6643 и значения loss 0,8075. Распространяется по лицензии Apache-2.0. Показатели оценки относятся к конкретной выборке и сами по себе не гарантируют качество на других данных.

Сценарии применения

проверка логического следования гипотезы из текста
классификация пар посылка—гипотеза для задачи RTE
оценка текстовых утверждений на соответствие исходному фрагменту

Ограничения

На оценочной выборке указана точность 0,6643; качество может быть ограниченным и меняться на данных, отличающихся от GLUE RTE.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bert-base-uncased-finetuned-rte

This model is a fine-tuned version of bert-base-uncased on the glue dataset. It achieves the following results on the evaluation set:

Loss: 0.8075
Accuracy: 0.6643

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
No log	1.0	63	0.6777	0.5668
No log	2.0	126	0.6723	0.6282
No log	3.0	189	0.7238	0.6318
No log	4.0	252	0.7993	0.6354
No log	5.0	315	0.8075	0.6643

Framework versions

Transformers 4.15.0
Pytorch 1.10.0+cu111
Datasets 1.18.1
Tokenizers 0.10.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: 8654d23