Дообученная на WNLI модель BERT классифицирует пары предложений, проверяя, следует ли гипотеза из исходного текста.
161скачиваний за 30 дней1лайквеса обновлены20 мая 2021
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Модель textattack/bert-base-uncased-WNLI — версия BERT-base-uncased, дообученная TextAttack для классификации последовательностей на задаче WNLI из набора GLUE. Она принимает текстовые пары и определяет, следует ли гипотеза из исходного предложения. Модель содержит 136,7 млн параметров, относится к архитектуре BertForSequenceClassification; максимальная длина контекста по метаданным — 512 токенов. При обучении использовались последовательности длиной до 256 токенов, 5 эпох и функция потерь cross-entropy.
Модель предназначена для классификации текстовых пар и проверки языкового следования в рамках WNLI. На отложенной выборке авторы сообщают точность 0,563 после одной эпохи, что указывает на ограниченное качество и необходимость проверки пригодности для конкретного применения. Лицензия в предоставленных данных не указана.
Сценарии применения
проверка языкового следования между предложением и гипотезой
классификация пар предложений по связи между ними
эксперименты с задачей WNLI из набора GLUE
Ограничения
В README указана точность 0,563 на оценочной выборке, поэтому качество на задаче ограничено. Обучение проводилось на последовательностях длиной до 256 токенов; для данного чекпойнта лицензия не приведена.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
This bert-base-uncased model was fine-tuned for sequence classification using TextAttack
and the glue dataset loaded using the nlp library. The model was fine-tuned
for 5 epochs with a batch size of 64, a learning
rate of 5e-05, and a maximum sequence length of 256.
Since this was a classification task, the model was trained with a cross-entropy loss function.
The best score the model achieved on this task was 0.5633802816901409, as measured by the
eval set accuracy, found after 1 epoch.