DistilBERT, дообученная для определения, являются ли два предложения перефразами друг друга.
156скачиваний за 30 дней1лайквеса обновлены6 июл 2020
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Это модель DistilBERT, дообученная TextAttack для классификации пар предложений на наборе данных MRPC из бенчмарка GLUE. Она предназначена для определения того, выражают ли два предложения одно и то же значение. Модель использует архитектуру DistilBertForSequenceClassification и принимает текстовые пары с максимальной длиной последовательности 512 токенов; при дообучении использовалось ограничение 256 токенов.
Модель обучалась пять эпох с размером батча 32 и скоростью обучения 2e-05; лучшая точность на оценочной выборке составила около 85,8%. Это специализированный классификатор для задачи распознавания перефразирования, а не универсальная языковая модель. В карточке указана точность на eval-наборе, поэтому качество на других данных может отличаться. Лицензия в предоставленных материалах не указана.
Сценарии применения
проверка, передают ли два предложения одинаковый смысл
поиск дубликатов вопросов или коротких текстов
сопоставление перефразированных формулировок в текстовых парах
Ограничения
Показатель около 85,8% получен на оценочной выборке MRPC и не гарантирует такое же качество на других данных. Модель обучалась на последовательностях до 256 токенов.
Для каких профессий подходит9
Разделы каталога профессий, в задачах которых используется эта модель
This distilbert-base-uncased model was fine-tuned for sequence classification using TextAttack
and the glue dataset loaded using the nlp library. The model was fine-tuned
for 5 epochs with a batch size of 32, a learning
rate of 2e-05, and a maximum sequence length of 256.
Since this was a classification task, the model was trained with a cross-entropy loss function.
The best score the model achieved on this task was 0.8578431372549019, as measured by the
eval set accuracy, found after 1 epoch.