/ Модель

Характеристики

Контекст
514 токенов
Параметры
454 млн
Лицензия
MIT
Архитектура
roberta · dense
Опубликована
9 ноя 2023

twitter-roberta-large-hate-latest

Классификация текстаТекст → label3 профессии

Англоязычная модель Cardiff NLP на базе RoBERTa-large для многоклассового выявления и категоризации ненавистнических высказываний в текстах.

224скачиваний за 30 дней3лайкавеса обновлены7 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

cardiffnlp/twitter-roberta-large-hate-latest — модель Cardiff NLP для многоязыковой по контексту Twitter, но обученная на англоязычных твитах классификация ненавистнических высказываний. Она основана на RoBERTa-large, предварительно обученной на 154 млн твитов до конца декабря 2022 года, и дообучена на наборе TweetHate из SuperTweetEval для многоклассовой классификации текста. Модель относит текст к одной из семи категорий ненависти — по признаку пола, расы, сексуальной ориентации, религии, происхождения, инвалидности или возраста — либо к категории «не содержит ненависти».

Модель принимает текст и возвращает метку класса с оценкой уверенности. Она подходит для предварительной модерации англоязычных публикаций в социальных сетях и анализа категорий вредоносной речи. Размер модели — 454,1 млн параметров, максимальный контекст — 514 токенов; формат весов — Safetensors. Лицензия — MIT. Классификатор может ошибаться на сарказме, цитатах, неоднозначных формулировках и текстах вне домена твитов; его оценки не следует считать окончательным решением о модерации.

Сценарии применения

  • выявление ненавистнических высказываний в твитах
  • разметка оскорблений по целевой группе
  • предварительная модерация англоязычных публикаций
  • анализ распространённости категорий языка ненависти в соцсетях

Ограничения

Модель обучена на твитах и английских данных, поэтому её надёжность на других языках и вне домена социальных сетей не установлена. Возможны ошибки на сарказме, цитатах и неоднозначных формулировках; оценки уверенности не заменяют проверку модератором.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

cardiffnlp/twitter-roberta-large-hate-latest

This is a RoBERTa-large model trained on 154M tweets until the end of December 2022 and finetuned for hate speech detection (multiclass classification) on the TweetHate dataset of SuperTweetEval. The original Twitter-based RoBERTa model can be found here.

Labels

Example

from transformers import pipeline
text = 'Eid Mubarak Everyone!!! ❤ May Allah unite all Muslims, show us the right path, and bless us with good health.❣'

pipe = pipeline('text-classification', model="cardiffnlp/twitter-roberta-large-hate-latest")
pipe(text)
>> [{'label': 'not_hate', 'score': 0.9997966885566711}]

Citation Information

Please cite the reference paper if you use this model.

@inproceedings{antypas2023supertweeteval,
  title={SuperTweetEval: A Challenging, Unified and Heterogeneous Benchmark for Social Media NLP Research},
  author={Dimosthenis Antypas and Asahi Ushio and Francesco Barbieri and Leonardo Neves and Kiamehr Rezaee and Luis Espinosa-Anke and Jiaxin Pei and Jose Camacho-Collados},
  booktitle={Findings of the Association for Computational Linguistics: EMNLP 2023},
  year={2023}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
RobertaForSequenceClassification
Ревизия весов
f20e282

0 моделей