Характеристики

Контекст: 512 токенов
Параметры: 155 млн
Лицензия: MIT
Архитектура: deberta-v2 · dense
Опубликована: 8 мая 2022

Ссылки

Hugging Face

tweet_eval-sentiment-finetuned

deepgai

Классификация текстаТекст → label3 профессии

Классификатор на базе DeBERTa, дообученный для определения тональности коротких публикаций на наборе Tweet_Eval.

29скачиваний за 30 дней0лайковвеса обновлены9 мая 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель deepgai/tweet_eval-sentiment-finetuned — классификатор тональности коротких текстов, дообученный на наборе Tweet_Eval на базе microsoft/deberta-v3-small. Она предназначена для определения тональности публикаций и сообщений, в том числе текстов из Twitter. Модель использует архитектуру DeBERTa V2, содержит около 155 млн параметров и принимает последовательности длиной до 512 токенов.

На оценочной выборке Tweet_Eval модель показала accuracy 0,744 и F1 0,7437. Репозиторий содержит веса PyTorch; лицензия — MIT. README не уточняет набор меток тональности и ограничения по языкам, поэтому переносить результаты на другие типы текстов без отдельной проверки не следует.

Сценарии применения

определение тональности публикаций в Twitter
анализ тональности коротких сообщений в соцсетях
разметка твитов для исследования общественного мнения

Ограничения

README сообщает accuracy 0,744 и F1 0,7437 на оценочной выборке Tweet_Eval, но не описывает состав меток или языковой охват. Максимальная длина входа — 512 токенов; качество на иных жанрах и доменах не подтверждено.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

III.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594модели II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

tweet_eval-sentiment-finetuned

This model is a fine-tuned version of microsoft/deberta-v3-small on the Tweet_Eval dataset. It achieves the following results on the evaluation set:

Loss: 0.6532
Accuracy: 0.744
F1: 0.7437

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 3e-05
train_batch_size: 128
eval_batch_size: 256
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: cosine
lr_scheduler_warmup_ratio: 0.1
num_epochs: 4
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	F1
0.7491	1.0	357	0.6089	0.7345	0.7314
0.5516	2.0	714	0.5958	0.751	0.7516
0.4618	3.0	1071	0.6131	0.748	0.7487
0.4066	4.0	1428	0.6532	0.744	0.7437

Framework versions

Transformers 4.18.0
Pytorch 1.9.1
Datasets 2.1.0
Tokenizers 0.12.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: DebertaV2ForSequenceClassification
Ревизия весов: aa1eb67