Характеристики

Контекст: 512 токенов
Параметры: 212 млн
Лицензия: MIT
Архитектура: deberta-v2 · dense
Базовая модель: deberta-v3-base
Библиотека: transformers
Опубликована: 22 янв 2025

Ссылки

Hugging Face

UIT-deberta-v3-base-finetuned

sercetexam9

Классификация текстаТекст → label

Дообученная на базе DeBERTa V3 модель для классификации текста с контекстом до 512 токенов.

7скачиваний за 30 дней0лайковвеса обновлены22 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

UIT-deberta-v3-base-finetuned — дообученная модель классификации последовательностей на базе microsoft/deberta-v3-base. Она предназначена для отнесения входного текста к классам; конкретные классы и целевая область применения в карточке не описаны. Модель содержит 211,6 млн параметров, использует архитектуру DeBERTa V2 и принимает последовательности длиной до 512 токенов.

В карточке приведены результаты оценки: F1 0,7574, ROC AUC 0,8115, accuracy 0,5036 и loss 0,4347. Данные обучения обозначены как None, поэтому нельзя определить язык и тематику классификации или оценить применимость метрик к конкретному сценарию. Лицензия — MIT.

Сценарии применения

классификация текстовых последовательностей
присвоение категорий текстам в приложении
оценка текстовых примеров по заданным классам

Ограничения

В карточке не названы целевые классы, язык и данные обучения; приведённые метрики не позволяют определить качество для конкретной задачи. Максимальная длина контекста — 512 токенов.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

UIT-deberta-v3-base-finetuned

This model is a fine-tuned version of microsoft/deberta-v3-base on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.4347
F1: 0.7574
Roc Auc: 0.8115
Accuracy: 0.5036

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: cosine
lr_scheduler_warmup_steps: 100
num_epochs: 20

Training results

Training Loss	Epoch	Step	Validation Loss	F1	Roc Auc	Accuracy
0.5508	1.0	139	0.4985	0.1682	0.5518	0.1643
0.4245	2.0	278	0.4152	0.6348	0.7259	0.3881
0.3521	3.0	417	0.3579	0.7279	0.7918	0.4747
0.2247	4.0	556	0.3752	0.7206	0.7825	0.4675
0.2045	5.0	695	0.3588	0.7561	0.8109	0.5181
0.1466	6.0	834	0.4355	0.7353	0.7928	0.4765
0.0911	7.0	973	0.4347	0.7574	0.8115	0.5036
0.0731	8.0	1112	0.4792	0.7233	0.7869	0.4639
0.0576	9.0	1251	0.5001	0.7505	0.8056	0.5054
0.0376	10.0	1390	0.5599	0.7404	0.7973	0.4928
0.0248	11.0	1529	0.5667	0.7416	0.7982	0.4964
0.0147	12.0	1668	0.5936	0.7442	0.8033	0.4982
0.0148	13.0	1807	0.5873	0.7531	0.8133	0.5
0.009	14.0	1946	0.6078	0.7465	0.8029	0.5072
0.0122	15.0	2085	0.6217	0.7475	0.8045	0.4946
0.0057	16.0	2224	0.6321	0.7479	0.8037	0.5072
0.0072	17.0	2363	0.6359	0.7451	0.8021	0.5036
0.0061	18.0	2502	0.6397	0.7480	0.8044	0.5018
0.0063	19.0	2641	0.6387	0.7466	0.8031	0.5
0.0063	20.0	2780	0.6394	0.7470	0.8034	0.5018

Framework versions

Transformers 4.48.1
Pytorch 2.4.0
Datasets 3.0.1
Tokenizers 0.21.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: DebertaV2ForSequenceClassification
Ревизия весов: 2b3415d