Характеристики

Контекст: 512 токенов
Параметры: 155 млн
Лицензия: MIT
Архитектура: deberta-v2 · dense
Базовая модель: deberta-v3-small
Опубликована: 6 мар 2024

Ссылки

deberta-v3-small-finetuned-mnli

Классификация текстаТекст → label3 профессии

Дообученная англоязычная DeBERTa V3 Small для классификации отношений между текстовой посылкой и гипотезой в задаче MNLI.

13скачиваний за 30 дней0лайковвеса обновлены6 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

rdp99/deberta-v3-small-finetuned-mnli — модель классификации последовательностей на базе DeBERTa V3 Small, дообученная для задачи MNLI. Она предназначена для оценки отношений между парами текстов, например определения, следует ли гипотеза из посылки, противоречит ей или не связана с ней. Архитектура — DeBERTa V2 для классификации последовательностей; модель содержит 155 млн параметров и поддерживает контекст до 512 токенов.

В README указаны результаты на оценочной выборке: accuracy 0,8776 и loss 0,6370. Датасет обучения не назван, поэтому результаты и переносимость на другие наборы данных или языки оценить по карточке нельзя. Базовая модель описана как англоязычная; лицензия модели — MIT.

Сценарии применения

определение логического следования между посылкой и гипотезой
классификация пар текстов по смысловому отношению
проверка текстовых гипотез на противоречие посылке

Ограничения

Датасет обучения неизвестен, поэтому качество вне указанной оценочной выборки не установлено. Контекст ограничен 512 токенами; базовая модель англоязычная.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.1Разработка и данныеАнализ требований и архитектура ПОAI помогает переводить потребности бизнеса в непротиворечивые требования и технические решения.20 задач18 191модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

deberta-v3-small-finetuned-mnli

This model is a fine-tuned version of microsoft/deberta-v3-small on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.6370
Accuracy: 0.8776

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
0.3771	1.0	24544	0.3509	0.8689
0.2918	2.0	49088	0.3752	0.8720
0.2278	3.0	73632	0.4424	0.8756
0.1727	4.0	98176	0.5483	0.8768
0.1413	5.0	122720	0.6370	0.8776

Framework versions

Transformers 4.38.2
Pytorch 2.1.0+cu121
Datasets 2.18.0
Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: DebertaV2ForSequenceClassification
Ревизия весов: e5af187