Характеристики

Контекст: 512 токенов
Параметры: 77,5 млн
Лицензия: MIT
Архитектура: deberta-v2 · dense
Опубликована: 8 июл 2022

Ссылки

Hugging Face

deberta-v3-xsmall-with-biblio-context-frozenlm-finetuned-review_classifier

domenicrosati

Классификация текстаТекст → label3 профессии

Дообученная на базе DeBERTa v3 xsmall модель для классификации отзывов с использованием библиографического контекста.

17скачиваний за 30 дней0лайковвеса обновлены8 июл 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это дообученная модель классификации текста на основе microsoft/deberta-v3-xsmall, разработанная Domenic Rosati. Она предназначена для классификации отзывов; в названии также указано использование библиографического контекста и замороженной языковой модели, однако README не поясняет эту схему и не описывает набор данных. Модель содержит 77,5 млн параметров, использует архитектуру DeBERTa v2 для классификации последовательностей и принимает текст длиной до 512 токенов.

Модель выпущена под лицензией MIT. В приведённых результатах оценки точность составляет 0,9066, но F1 — 0,0090, полнота — 0,0045, а точность положительных предсказаний — 0,8293; столь низкие F1 и полнота указывают на существенные ограничения при выявлении целевого класса. README не раскрывает состав классов, данные обучения и подробности применения библиографического контекста.

Сценарии применения

классификация отзывов по целевым категориям
автоматическая разметка отзывов в текстовом корпусе
классификация текстов отзывов с учётом библиографического контекста

Ограничения

На оценочном наборе F1 составляет 0,0090, а полнота — 0,0045, поэтому модель может пропускать почти все примеры целевого класса. README не раскрывает метки классов, обучающие данные и детали использования контекста.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

deberta-v3-xsmall-with-biblio-context-frozenlm-finetuned-review_classifier

This model is a fine-tuned version of microsoft/deberta-v3-xsmall on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.3109
Accuracy: 0.9066
F1: 0.0090
Recall: 0.0045
Precision: 0.8293

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 4.5e-05
train_batch_size: 12
eval_batch_size: 12
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 1000
num_epochs: 2
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	F1	Recall	Precision
0.2938	1.0	6667	0.3103	0.9070	0.0221	0.0112	0.7636
0.2851	2.0	13334	0.3109	0.9066	0.0090	0.0045	0.8293

Framework versions

Transformers 4.20.1
Pytorch 1.12.0+cu102
Datasets 2.3.2
Tokenizers 0.12.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: DebertaV2ForSequenceClassificationWithContextEncoder
Ревизия весов: 30bde22