/ Модель

Характеристики

Контекст
514 токенов
Параметры
454 млн
Лицензия
MIT
Архитектура
roberta · dense
Опубликована
25 ноя 2024

twitter-roberta-large-sensitive-multilabel

Классификация текстаТекст → label6 профессий

Модель Cardiff NLP классифицирует англоязычные публикации по категориям чувствительного содержимого, включая ненормативную лексику, сексуальные темы, наркотики и самоповреждение.

24скачиваний за 30 дней5лайковвеса обновлены10 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это модель Cardiff NLP на архитектуре RoBERTa-large, дообученная на наборе X-Sensitive для многометочной классификации чувствительного содержимого в сообщениях. Базовая RoBERTa обучалась на 154 млн твитов до конца декабря 2022 года; модель различает конфликтный контент, ненормативную лексику, сексуальные темы, наркотики, самоповреждение, спам и сообщения без чувствительного содержимого.

Модель предназначена для разметки англоязычных текстов, в том числе публикаций в социальных сетях, по категориям чувствительности. Она содержит около 454,1 млн параметров, принимает текст и выдаёт метки классификации; максимальный нативный контекст составляет 514 токенов. Распространяется в формате Safetensors по лицензии MIT.

Сценарии применения

  • фильтрация ненормативной лексики в публикациях
  • выявление упоминаний наркотиков в сообщениях
  • поиск контента о самоповреждении
  • разметка сексуального и конфликтного контента
  • обнаружение спама в англоязычных публикациях

Ограничения

Модель обучалась на твитах и предназначена для англоязычного текста; её результаты могут хуже подходить для других жанров и языков. Для длинных текстов следует учитывать ограничение контекста в 514 токенов.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

twitter-roberta-base-sensitive-binary

This is a RoBERTa-large model trained on 154M tweets until the end of December 2022 and finetuned for detecting sensitive content (multilabel classification) on the X-Sensitive dataset. The original Twitter-based RoBERTa model can be found here.

A sensitive content binary model can be found here.

Labels

"id2label": {
  "0": "conflictual",
  "1": "profanity",
  "2": "sex",
  "3": "drugs",
  "4": "selfharm",
  "5": "spam",
  "6": "not-sensitive"
}

Full classification example

from transformers import pipeline
    
pipe = pipeline(model='cardiffnlp/twitter-roberta-large-sensitive-multilabel')
text = "Call me today to earn some money mofos!"

pipe(text)

Output:

[[{'label': 'conflictual', 'score': 0.03700090944766998},
  {'label': 'profanity', 'score': 0.9770461916923523},
  {'label': 'sex', 'score': 0.01981434039771557},
  {'label': 'drugs', 'score': 0.017757439985871315},
  {'label': 'selfharm', 'score': 0.008804548531770706},
  {'label': 'spam', 'score': 0.07784222811460495},
  {'label': 'not-sensitive', 'score': 0.010364986956119537}]]

BibTeX entry and citation info

@article{antypas2024sensitive,
  title={Sensitive Content Classification in Social Media: A Holistic Resource and Evaluation},
  author={Antypas, Dimosthenis and Sen, Indira and Perez-Almendros, Carla and Camacho-Collados, Jose and Barbieri, Francesco},
  journal={arXiv preprint arXiv:2411.19832},
  year={2024}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
RobertaForSequenceClassification
Ревизия весов
e362dc6

0 моделей