Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Базовая модель: bert-base-uncased
Опубликована: 21 июн 2022

Ссылки

bert-base-uncased-rte

Классификация текстаТекст → label3 профессии

Англоязычная модель BERT для классификации пар предложений в задаче распознавания текстовых следствий, дообученная на GLUE RTE.

144скачиваний за 30 дней1лайквеса обновлены24 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

JeremiahZ/bert-base-uncased-rte — модель классификации текста на базе BERT, дообученная на датасете GLUE RTE. Она предназначена для классификации пар предложений по задаче распознавания текстовых следствий (Recognizing Textual Entailment): определения, следует ли одно предложение из другого. Модель содержит 136,7 млн параметров, принимает текстовые входы и поддерживает контекст до 512 токенов.

Модель опубликована в форматах PyTorch и safetensors и рассчитана на английский язык. На оценочном наборе GLUE RTE указаны accuracy 0,6895 и loss 0,6972. Лицензия — Apache-2.0. Карточка не содержит дополнительных сведений о сценариях применения или ограничениях качества.

Сценарии применения

Определение, следует ли гипотеза из исходного предложения
Классификация пар предложений для проверки текстовых следствий
Оценка семантической согласованности двух английских фраз

Ограничения

На оценочном наборе GLUE RTE указана точность 0,6895; это значение характеризует результат на данном наборе и не гарантирует аналогичное качество на других данных. Контекст ограничен 512 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bert-base-uncased-rte

This model is a fine-tuned version of bert-base-uncased on the GLUE RTE dataset. It achieves the following results on the evaluation set:

Loss: 0.6972
Accuracy: 0.6895

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3.0

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
No log	1.0	156	0.6537	0.6318
No log	2.0	312	0.6383	0.6534
No log	3.0	468	0.6972	0.6895

Framework versions

Transformers 4.20.0.dev0
Pytorch 1.11.0+cu113
Datasets 2.1.0
Tokenizers 0.12.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: cb5f2f1