Характеристики

Контекст: 512 токенов
Параметры: 136 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Опубликована: 2 мар 2022

Ссылки

Hugging Face

finetuned-bert-mrpc

sgugger

Классификация текстаТекст → label10 профессий

Дообученная на GLUE модель BERT для классификации пар предложений по смысловой эквивалентности.

592скачиваний за 30 дней0лайковвеса обновлены2 сен 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

sgugger/finetuned-bert-mrpc — модель классификации последовательностей на базе BERT, дообученная на наборе GLUE для задачи MRPC, связанной с определением смысловой эквивалентности пар предложений. Модель содержит 135,5 млн параметров, использует архитектуру BertForSequenceClassification и принимает текстовые входы с контекстом до 512 токенов.

Модель подходит для определения, выражают ли два предложения одинаковый смысл, например, для сопоставления перефразировок. На оценочной выборке указаны accuracy 0,8235 и F1 0,8792. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0. Языковая специализация в карточке не указана.

Сценарии применения

определение, являются ли два предложения перефразировками
сопоставление похожих по смыслу фраз
классификация пар предложений в задачах обработки естественного языка

Ограничения

Результаты оценки на GLUE MRPC составляют accuracy 0,8235 и F1 0,8792; качество на других наборах данных и для других языков не подтверждено. Максимальная длина контекста — 512 токенов.

Для каких профессий подходит10

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

finetuned-bert-mrpc

This model is a fine-tuned version of bert-base-cased on the glue dataset. It achieves the following results on the evaluation set:

Loss: 0.4917
Accuracy: 0.8235
F1: 0.8792

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3.0

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	F1
0.5382	1.0	230	0.4008	0.8456	0.8893
0.3208	2.0	460	0.4182	0.8309	0.8844
0.1587	3.0	690	0.4917	0.8235	0.8792

Framework versions

Transformers 4.9.0.dev0
Pytorch 1.8.1+cu111
Datasets 1.8.1.dev0
Tokenizers 0.10.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: 9c735e2