Дообученная модель BERT классифицирует пары предложений и определяет их смысловую эквивалентность.
7 843скачиваний за 30 дней3лайкавеса обновлены20 мая 2021
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Это модель BERT base uncased, дообученная TextAttack для классификации пар предложений на задаче MRPC из набора GLUE. Она оценивает, выражают ли два предложения одно и то же значение, и подходит для классификации текстовых пар и проверки смысловой эквивалентности. Модель содержит 136,7 млн параметров; метаданные указывают архитектуру BertForSequenceClassification и контекст до 512 токенов. В README описано дообучение в течение пяти эпох с максимальной длиной последовательности 256 токенов; лучшая точность на проверочной выборке составила около 87,7% после одной эпохи.
Модель принимает текст и выдаёт метки классификации. Вариант uncased обрабатывает текст без учёта регистра; карточка не заявляет поддержку языков помимо английского. Репозиторий содержит веса PyTorch и Flax. Лицензия в предоставленных данных не указана.
Сценарии применения
определение, передают ли два предложения одинаковый смысл
классификация пар предложений в задачах обработки естественного языка
проверка перефразирования в англоязычном тексте
Ограничения
Модель обучена на MRPC и может хуже работать на текстах и задачах, отличающихся от этого набора данных. В README не сообщаются результаты на других наборах; максимальная длина при обучении составляла 256 токенов.
Для каких профессий подходит5
Разделы каталога профессий, в задачах которых используется эта модель
This bert-base-uncased model was fine-tuned for sequence classification using TextAttack
and the glue dataset loaded using the nlp library. The model was fine-tuned
for 5 epochs with a batch size of 16, a learning
rate of 2e-05, and a maximum sequence length of 256.
Since this was a classification task, the model was trained with a cross-entropy loss function.
The best score the model achieved on this task was 0.8774509803921569, as measured by the
eval set accuracy, found after 1 epoch.