Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Лицензия: Apache 2.0
Архитектура: bert · dense

Ссылки

Hugging Face

bert-base-uncased-emotion

nateraw

Классификация текстаТекст → label3 профессии

Модель на базе BERT классифицирует эмоции в англоязычном тексте.

11 444скачиваний за 30 дней13лайковвеса обновлены20 мая 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель nateraw/bert-base-uncased-emotion — дообученная для классификации эмоций версия bert-base-uncased. Она принимает текст и определяет эмоциональную категорию; модель обучена на датасете emotion с помощью PyTorch Lightning. Архитектура — BERT для классификации последовательностей, размер — 136,7 млн параметров, максимальная длина контекста — 512 токенов. Доступны веса PyTorch и Flax; модель рассчитана на английский язык.

Модель подойдёт для определения эмоций в коротких сообщениях, отзывах и других текстах. В README приведена точность на валидации 0,931, однако автор отмечает, что метрика не заменяет precision, recall и F1; также автор характеризует модель как не лучшую и сообщает, что код обучения недоступен. Лицензия — Apache-2.0.

Сценарии применения

определение эмоций в коротких сообщениях
анализ эмоциональной окраски отзывов
разметка текстов по эмоциональным категориям

Ограничения

Автор характеризует модель как посредственную; указанная точность 0,931 не заменяет метрики precision, recall и F1. Код обучения недоступен.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

III.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594модели III.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модель II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bert-base-uncased-emotion

Model description

bert-base-uncased finetuned on the emotion dataset using PyTorch Lightning. Sequence length 128, learning rate 2e-5, batch size 32, 2 GPUs, 4 epochs.

For more details, please see, the emotion dataset on nlp viewer.

Limitations and bias

Not the best model, but it works in a pinch I guess...
Code not available as I just hacked this together.
Follow me on github to get notified when code is made available.

Training data

Data came from HuggingFace's datasets package. The data can be viewed on nlp viewer.

Training procedure

...

Eval results

val_acc - 0.931 (useless, as this should be precision/recall/f1)

The score was calculated using PyTorch Lightning metrics.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: 064d252