Модель на базе XLM-RoBERTa классифицирует пары текстов по трём отношениям NLI: следование, нейтральность и противоречие.
28скачиваний за 30 дней0лайковвеса обновлены16 июл 2022
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
nam7197/vi-nli-xlm-roberta-base — модель классификации текстовых пар для задачи вывода по естественному языку (NLI): она определяет, следует ли гипотеза из посылки, противоречит ей или не связана с ней. Модель основана на XLM-RoBERTa и содержит 305,2 млн параметров; в метаданных указан класс XLMRobertaForSequenceClassification и контекст до 514 токенов.
Модель подходит для классификации пар предложений и оценки отношений между утверждениями. В README приведены метрики precision, recall и F1 для классов entailment, neutral и contradiction. Карточка не сообщает языковую специализацию и лицензию, поэтому конкретные языки и условия использования установить нельзя.
Сценарии применения
проверка, следует ли вывод из исходного утверждения
поиск противоречий между двумя фразами
классификация отношения между посылкой и гипотезой
>>> import torch
>>> from transformers import AutoTokenizer,AutoModelForSequenceClassification
>>> tokenizer = AutoTokenizer.from_pretrained('xlm-roberta-base')
>>> model=AutoModelForSequenceClassification.from_pretrained('nam7197/vi-nli-xml-roberta-base')
>>> premise="Vâng, tôi thậm chí không nghĩ về điều đó, nhưng tôi đã rất thất vọng, và, tôi lại nói chuyện với anh ta lần nữa."
>>> hypothesis="Tôi đã không nói chuyện với anh ta nữa."
>>> label=2 #contradiction
>>> inputs=tokenizer(premise,hypothesis,return_tensors='pt')
>>> model.eval()
>>> with torch.no_grad():
>>> outputs=model(**inputs)
>>> probs= torch.nn.functional.softmax(outputs.logits,dim=-1)
>>> pred_label=torch.argmax(probs,dim=-1)
Performance
precision
recall
f1-score
support
entailment
0.79256
0.77784
0.78513
1670
neutral
0.77192
0.70120
0.73486
1670
contradiction
0.76429
0.84850
0.80420
1670
accuracy
0.77585
5010
macro avg
0.77626
0.77585
0.77473
5010
weighted avg
0.77626
0.77585
0.77473
5010
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров