RoBERTa-base, дообученная TextAttack для определения, следует ли гипотеза из заданного текста.
459скачиваний за 30 дней2лайкавеса обновлены20 мая 2021
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Модель textattack/roberta-base-RTE — версия RoBERTa-base, дообученная командой TextAttack для классификации текстовых последовательностей на задаче распознавания текстового следствия (RTE) из набора GLUE. Она принимает текстовые пары и предсказывает, следует ли гипотеза из посылки. Модель содержит 151,8 млн параметров, её контекстное окно составляет 514 токенов; при дообучении использовалась максимальная длина последовательности 128 токенов. Доступны веса PyTorch и Flax.
Модель подходит для классификации пар предложений и экспериментов с задачами понимания естественного языка. На оценочной выборке GLUE RTE лучшая точность составила около 79,4%. Это специализированный чекпойнт для одной задачи, поэтому его результаты не следует переносить на другие виды классификации без дополнительной проверки. В README лицензия не указана.
Сценарии применения
проверка текстового следствия для пары предложений
определение, подтверждает ли посылка гипотезу
классификация пар предложений на entailment и contradiction
эксперименты и оценка моделей на задаче GLUE RTE
Ограничения
Модель специализирована на задаче RTE и обучалась с максимальной длиной последовательности 128 токенов; заявленная точность на оценочной выборке GLUE RTE составляет около 79,4%. Лицензия в предоставленных данных не указана.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
This roberta-base model was fine-tuned for sequence classification using TextAttack
and the glue dataset loaded using the nlp library. The model was fine-tuned
for 5 epochs with a batch size of 16, a learning
rate of 2e-05, and a maximum sequence length of 128.
Since this was a classification task, the model was trained with a cross-entropy loss function.
The best score the model achieved on this task was 0.7942238267148014, as measured by the
eval set accuracy, found after 3 epochs.