Дообученная на SNLI модель ALBERT для классификации отношений между посылкой и гипотезой в задаче логического вывода по тексту.
142скачиваний за 30 дней1лайквеса обновлены6 июл 2020
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Модель textattack/albert-base-v2-snli разработана с использованием TextAttack и представляет собой ALBERT-base-v2, дообученную для классификации последовательностей на датасете SNLI. Она предназначена для определения отношения между парой текстов в задаче естественного логического вывода: например, проверки, следует ли гипотеза из посылки, противоречит ей или не связана с ней. В карточке указаны пять эпох дообучения, максимальная длина входа 64 токена и точность 0,906 на проверочной выборке после второй эпохи.
Архитектура — AlbertForSequenceClassification, число параметров — 136,3 млн; максимальный контекст по метаданным — 512 токенов. Модель принимает текст и выдаёт метку класса. В карточке не заявлена поддержка конкретных языков, поэтому набор поддерживаемых языков по имеющимся данным определить нельзя. Репозиторий содержит веса PyTorch. Условия лицензии в предоставленных данных не указаны.
Сценарии применения
определение, следует ли гипотеза из текстовой посылки
классификация пары предложений как логическое следствие, противоречие или нейтральное отношение
оценка отношения между двумя короткими текстами в формате SNLI
Ограничения
Дообучение выполнено на SNLI, поэтому применение к другим типам текстов и языкам может давать менее надёжные результаты. В карточке указана максимальная длина обучения 64 токена; общий контекст модели по метаданным составляет 512 токенов.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
This albert-base-v2 model was fine-tuned for sequence classification using TextAttack
and the snli dataset loaded using the nlp library. The model was fine-tuned
for 5 epochs with a batch size of 64, a learning
rate of 2e-05, and a maximum sequence length of 64.
Since this was a classification task, the model was trained with a cross-entropy loss function.
The best score the model achieved on this task was 0.9060150375939849, as measured by the
eval set accuracy, found after 2 epochs.