Классификатор на базе ALBERT, определяющий, передают ли два предложения одинаковый смысл.
115скачиваний за 30 дней0лайковвеса обновлены6 июл 2020
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Модель textattack/albert-base-v2-MRPC — классификатор последовательностей на базе ALBERT base v2, дообученный командой TextAttack на задаче MRPC из набора GLUE. Она предназначена для определения, выражают ли два предложения одинаковый смысл, например, для поиска дублирующих вопросов или сопоставления похожих формулировок. Модель содержит 136,3 млн параметров, использует архитектуру AlbertForSequenceClassification и принимает текстовые пары с контекстом до 512 токенов; при дообучении применялась максимальная длина 128 токенов. Формат весов — PyTorch.
На оценочной выборке модель достигла точности 0,897 после четырёх эпох обучения. Карточка указывает обучение в течение пяти эпох с размером пакета 32 и скоростью обучения 2e-05. Лицензия в предоставленных данных не указана.
Сценарии применения
поиск семантически дублирующих вопросов
сопоставление перефразированных предложений
проверка смысловой эквивалентности текстовых пар
Ограничения
Обучение и оценка описаны для MRPC; приведённая точность относится к оценочной выборке этого набора и не гарантирует такое же качество на других данных. При дообучении использовалась максимальная длина последовательности 128 токенов.
Карточка модели
README от автора на Hugging Face, как он его опубликовал
This albert-base-v2 model was fine-tuned for sequence classification using TextAttack
and the glue dataset loaded using the nlp library. The model was fine-tuned
for 5 epochs with a batch size of 32, a learning
rate of 2e-05, and a maximum sequence length of 128.
Since this was a classification task, the model was trained with a cross-entropy loss function.
The best score the model achieved on this task was 0.8970588235294118, as measured by the
eval set accuracy, found after 4 epochs.