Характеристики

Контекст: 514 токенов
Параметры: 152 млн
Лицензия: MIT
Архитектура: roberta · dense

Ссылки

Hugging Face

roberta_goEmotion

bsingh

Классификация текстаТекст → label4 профессии

Англоязычная RoBERTa-модель определяет одну из 28 эмоций в коротких текстах и комментариях.

17скачиваний за 30 дней5лайковвеса обновлены11 окт 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

bsingh/roberta_goEmotion — модель классификации эмоций в тексте на основе RoBERTa, обученная на датасете GoEmotions с 58 тысячами размеченных комментариев Reddit. Она относит текст к 28 категориям, включая восхищение, гнев, радость, грусть, благодарность и нейтральный тон, и подходит для анализа эмоциональной окраски коротких пользовательских сообщений и комментариев.

Модель использует архитектуру RobertaForSequenceClassification, содержит 151,8 млн параметров и принимает текст длиной до 514 токенов. В карточке приведены метрики по отдельным категориям; результаты различаются между эмоциями, а для некоторых классов показатели заметно ниже. Модель рассчитана на англоязычные тексты и распространяется по лицензии MIT.

Сценарии применения

определение эмоции в комментарии Reddit
анализ эмоциональной окраски пользовательских отзывов
разметка коротких англоязычных сообщений по категориям эмоций

Ограничения

Качество различается по категориям: приведённые показатели ниже для некоторых эмоций, таких как realization и disappointment. Контекст ограничен 514 токенами; оценка на Reddit-комментариях не гарантирует такую же точность на других типах текста.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

III.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594модели III.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модель II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This model is trained for GoEmotions dataset which contains labeled 58k Reddit comments with 28 emotions

admiration, amusement, anger, annoyance, approval, caring, confusion, curiosity, desire, disappointment, disapproval, disgust, embarrassment, excitement, fear, gratitude, grief, joy, love, nervousness, optimism, pride, realization, relief, remorse, sadness, surprise + neutral

Training details:

The training script is provided here: https://github.com/bsinghpratap/roberta_train_goEmotion
Please feel free to start an issue in the repo if you have trouble running the model and I would try to respond as soon as possible.
The model works well on most of the emotions except: 'desire', 'disgust', 'embarrassment', 'excitement', 'fear', 'grief', 'nervousness', 'pride', 'relief', 'remorse', 'surprise']
I'll try to fine-tune the model further and update here if RoBERTa achieves a better performance.
Each text datapoint can have more than 1 label. Most of the training set had 1 label: Counter({1: 36308, 2: 6541, 3: 532, 4: 28, 5: 1}). So currently I just used the first label for each of the datapoint. Not ideal but it does a decent job.

Model Performance

============================================================ Emotion: admiration ============================================================ GoEmotions Paper: 0.65 RoBERTa: 0.62 Support: 504 ============================================================ Emotion: amusement ============================================================ GoEmotions Paper: 0.80 RoBERTa: 0.78 Support: 252 ============================================================ Emotion: anger ============================================================ GoEmotions Paper: 0.47 RoBERTa: 0.44 Support: 197 ============================================================ Emotion: annoyance ============================================================ GoEmotions Paper: 0.34 RoBERTa: 0.22 Support: 286 ============================================================ Emotion: approval ============================================================ GoEmotions Paper: 0.36 RoBERTa: 0.31 Support: 318 ============================================================ Emotion: caring ============================================================ GoEmotions Paper: 0.39 RoBERTa: 0.24 Support: 114 ============================================================ Emotion: confusion ============================================================ GoEmotions Paper: 0.37 RoBERTa: 0.29 Support: 139 ============================================================ Emotion: curiosity ============================================================ GoEmotions Paper: 0.54 RoBERTa: 0.48 Support: 233 ============================================================ Emotion: disappointment ============================================================ GoEmotions Paper: 0.28 RoBERTa: 0.18 Support: 127 ============================================================ Emotion: disapproval ============================================================ GoEmotions Paper: 0.39 RoBERTa: 0.26 Support: 220 ============================================================ Emotion: gratitude ============================================================ GoEmotions Paper: 0.86 RoBERTa: 0.84 Support: 288 ============================================================ Emotion: joy ============================================================ GoEmotions Paper: 0.51 RoBERTa: 0.47 Support: 116 ============================================================ Emotion: love ============================================================ GoEmotions Paper: 0.78 RoBERTa: 0.68 Support: 169 ============================================================ Emotion: neutral ============================================================ GoEmotions Paper: 0.68 RoBERTa: 0.61 Support: 1606 ============================================================ Emotion: optimism ============================================================ GoEmotions Paper: 0.51 RoBERTa: 0.52 Support: 120 ============================================================ Emotion: realization ============================================================ GoEmotions Paper: 0.21 RoBERTa: 0.15 Support: 109 ============================================================ Emotion: sadness ============================================================ GoEmotions Paper: 0.49 RoBERTa: 0.42 Support: 108

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForSequenceClassification
Ревизия весов: af498dc