Характеристики

Контекст: 130 токенов
Параметры: 162 млн
Архитектура: roberta · dense
Базовая модель: bertweet-base
Опубликована: 1 дек 2022

Ссылки

Hugging Face

bertweet-base-finetuned-SARC-DS

surrey-nlp

Классификация текстаТекст → label3 профессии

Дообученная на SARC англоязычная RoBERTa для выявления сарказма в коротких текстах и сообщениях.

522скачиваний за 30 дней2лайкавеса обновлены30 дек 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это англоязычная модель классификации текста, созданная дообучением vinai/bertweet-base на датасете SARC. Она предназначена для выявления сарказма в коротких сообщениях, в частности в текстах, похожих на публикации в социальных сетях. Основа модели — RoBERTa, предварительно обученная на англоязычных твитах; число параметров составляет 162,4 млн, контекст — до 130 токенов.

На оценочной выборке SARC модель показала accuracy 0,7636 и F1 0,7636. Она принимает текст и выдаёт результат классификации. Карточка не приводит сведения о лицензии дообученной модели, поэтому условия её использования по этим данным определить нельзя.

Сценарии применения

выявление сарказма в публикациях в социальных сетях
классификация комментариев по наличию сарказма
анализ тональности коротких англоязычных сообщений с учётом сарказма

Ограничения

Контекст ограничен 130 токенами; приведённый F1 на оценочной выборке составляет 0,7636, поэтому возможны ошибки, особенно при неоднозначных или контекстно зависимых высказываниях. Язык лицензии и условия использования дообученного чекпойнта в карточке не описаны.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей III.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Utilising Weak Supervision to Create S3D: A Sarcasm Annotated Dataset

This is the repository for the S3D dataset published at EMNLP 2022. The dataset can help build sarcasm detection models.

bertweet-base-finetuned-SARC-DS

This model is a fine-tuned version of vinai/bertweet-base on the SARC dataset. It achieves the following results on the evaluation set:

Loss: 1.7094
Accuracy: 0.7636
Precision: 0.7637
Recall: 0.7636
F1: 0.7636

Model description

The given description for BERTweet by VinAI is as follows: BERTweet is the first public large-scale language model pre-trained for English Tweets. BERTweet is trained based on the RoBERTa pre-training procedure. The corpus used to pre-train BERTweet consists of 850M English Tweets (16B word tokens ~ 80GB), containing 845M Tweets streamed from 01/2012 to 08/2019 and 5M Tweets related to the COVID-19 pandemic.

Training and evaluation data

This vinai/bertweet-base model was finetuned on the SARC dataset. The dataset is intended to help build sarcasm detection models.

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-05
train_batch_size: 16
eval_batch_size: 32
seed: 43
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 20

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Precision	Recall	F1
0.4978	1.0	44221	0.4899	0.7777	0.7787	0.7778	0.7775
0.4413	2.0	88442	0.4833	0.7798	0.7803	0.7798	0.7797
0.3943	3.0	132663	0.5387	0.7784	0.7784	0.7784	0.7784
0.3461	4.01	176884	0.6184	0.7690	0.7701	0.7690	0.7688
0.3024	5.01	221105	0.6899	0.7684	0.7691	0.7684	0.7682
0.2653	6.01	265326	0.7805	0.7654	0.7660	0.7654	0.7653
0.2368	7.01	309547	0.9066	0.7643	0.7648	0.7643	0.7642
0.2166	8.01	353768	1.0548	0.7612	0.7620	0.7611	0.7610
0.2005	9.01	397989	1.0649	0.7639	0.7639	0.7639	0.7639
0.1837	10.02	442210	1.1805	0.7621	0.7624	0.7621	0.7621
0.1667	11.02	486431	1.3017	0.7658	0.7659	0.7659	0.7658
0.1531	12.02	530652	1.2947	0.7627	0.7628	0.7627	0.7627
0.1377	13.02	574873	1.3877	0.7639	0.7639	0.7639	0.7639
0.1249	14.02	619094	1.4468	0.7613	0.7616	0.7613	0.7612
0.1129	15.02	663315	1.4951	0.7620	0.7621	0.7620	0.7620
0.103	16.02	707536	1.5599	0.7619	0.7624	0.7619	0.7618
0.0937	17.03	751757	1.6270	0.7615	0.7616	0.7615	0.7615
0.0864	18.03	795978	1.6918	0.7622	0.7624	0.7622	0.7621
0.0796	19.03	840199	1.7094	0.7636	0.7637	0.7636	0.7636

Framework versions

Transformers 4.20.1
Pytorch 1.10.1+cu111
Datasets 2.3.2
Tokenizers 0.12.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForSequenceClassification
Ревизия весов: 6e65179