Характеристики

Контекст: 512 токенов
Параметры: 534 млн
Архитектура: deberta-v2 · dense
Опубликована: 25 апр 2022

Ссылки

deberta-v3-large-snli_mnli_fever_anli_R1_R2_R3-nli

Классификация текстаТекст → label4 профессии

Англоязычная модель DeBERTa-v3-large для классификации логических отношений между парами текстов и проверки утверждений.

40скачиваний за 30 дней0лайковвеса обновлены25 апр 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Joel Zhang разработал модель на базе DeBERTa-v3-large для классификации отношений между парами текстов в задаче вывода на естественном языке (NLI). Она обучалась на SNLI, MultiNLI, FEVER и трёх раундах Adversarial NLI; по результатам тестирования показала точность 0,929 на SNLI и 0,612 на ANLI R3. Модель имеет архитектуру DeBERTa v2 для классификации последовательностей, содержит около 533,8 млн параметров и принимает последовательности длиной до 512 токенов. Основной язык карточки и обучающих данных — английский.

Модель подходит для проверки, следует ли гипотеза из предпосылки, противоречит ей или не связана с ней. Её можно применять для проверки фактических утверждений по текстовым источникам и анализа логических отношений между фразами. Доступны веса PyTorch. Лицензия в предоставленных данных не указана.

Сценарии применения

определение, следует ли утверждение из текста
классификация пары фраз как следования, противоречия или нейтрального отношения
проверка утверждений по текстовым источникам
оценка логической согласованности предпосылки и гипотезы

Ограничения

Модель рассчитана на английский язык; результаты на сложных примерах ANLI ниже, чем на SNLI. Контекст ограничен 512 токенами.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей II.1Разработка и данныеАнализ требований и архитектура ПОAI помогает переводить потребности бизнеса в непротиворечивые требования и технические решения.20 задач18 191модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

deberta-v3-large-snli_mnli_fever_anli_R1_R2_R3-nli

Datasets

This model was trained on the snli-v1.0, multi-nli-1.0, nli-fever and anli-1.0-r1/anli-1.0-r2/anli-1.0-r3 datasets with the training weights of 1,1,1,10,20,10 respectively.
The training codes are mostly referenced from: https://github.com/facebookresearch/anli

Hyperparameters

learning_rate: 1e-5
max_length: 156
batch_size: 16
warmup_ratio: 0.1
weight_decay: 0.0
num_epochs: 2

Dev results

snli-v1.0	multi-nli-1.0-m	multi-nli-1.0-mm	anli-1.0-r1	anli-1.0-r2	anli-1.0-r3
0.938	0.914	0.912	0.796	0.627	0.610

Test results

snli-v1.0	anli-1.0-r1	anli-1.0-r2	anli-1.0-r3
0.929	0.775	0.636	0.612

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: DebertaV2ForSequenceClassification
Ревизия весов: ca16637