/ Модель

Характеристики

Контекст
130 токенов
Параметры
162 млн
Архитектура
roberta · dense
Библиотека
pysentimiento
Опубликована
2 мар 2022

bertweet-hate-speech

Классификация текстаТекст → label4 профессии

Англоязычный классификатор твитов, выявляющий язык ненависти, адресность и агрессивность сообщения.

3 339скачиваний за 30 дней6лайковвеса обновлены20 фев 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

pysentimiento/bertweet-hate-speech — англоязычная модель классификации коротких сообщений из Twitter, разработанная проектом pysentimiento. Это RoBERTa-классификатор на 162,4 млн параметров, дообученный на корпусе SemEval 2019 Task 5 HatEval, подзадача B; базовая модель BERTweet была обучена на англоязычных твитах. Контекст модели составляет 130 токенов.

Модель одновременно определяет, содержит ли текст язык ненависти, направлен ли он на конкретного человека и является ли агрессивным. Она подходит для разметки и анализа англоязычных публикаций в социальных сетях. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.

Сценарии применения

  • выявление языка ненависти в англоязычных твитах
  • определение, направлено ли оскорбительное сообщение на конкретного человека
  • классификация агрессивных публикаций в Twitter
  • автоматическая разметка англоязычных сообщений для анализа модерации

Ограничения

Модель обучалась на англоязычных твитах и рассчитана на короткий контекст до 130 токенов; точность на других жанрах и языках не установлена. Классы описывают наличие языка ненависти, адресность и агрессивность, но не дают более подробной оценки контекста.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Hate Speech detection in English

bertweet-hate-speech

Repository: https://github.com/pysentimiento/pysentimiento/

Model trained with SemEval 2019 Task 5: HatEval (SubTask B) corpus for Hate Speech detection in English. Base model is BERTweet, a RoBERTa model trained in English tweets.

It is a multi-classifier model, with the following classes:

  • HS: is it hate speech?
  • TR: is it targeted to a specific individual?
  • AG: is it aggressive?

License

pysentimiento is an open-source library for non-commercial use and scientific research purposes only. Please be aware that models are trained with third-party datasets and are subject to their respective licenses.

  1. TASS Dataset license
  2. SEMEval 2017 Dataset license

Citation

If you use this model in your work, please cite the following papers:

@misc{perez2021pysentimiento,
      title={pysentimiento: A Python Toolkit for Sentiment Analysis and SocialNLP tasks},
      author={Juan Manuel Pérez and Juan Carlos Giudici and Franco Luque},
      year={2021},
      eprint={2106.09462},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@inproceedings{nguyen2020bertweet,
  title={BERTweet: A pre-trained language model for English Tweets},
  author={Nguyen, Dat Quoc and Vu, Thanh and Nguyen, Anh Tuan},
  booktitle={Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations},
  pages={9--14},
  year={2020}
}

@inproceedings{basile2019semeval,
  title={Semeval-2019 task 5: Multilingual detection of hate speech against immigrants and women in twitter},
  author={Basile, Valerio and Bosco, Cristina and Fersini, Elisabetta and Nozza, Debora and Patti, Viviana and Pardo, Francisco Manuel Rangel and Rosso, Paolo and Sanguinetti, Manuela},
  booktitle={Proceedings of the 13th international workshop on semantic evaluation},
  pages={54--63},
  year={2019}
}

Enjoy! 🤗

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pysentimiento · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
RobertaForSequenceClassification
Ревизия весов
d9925de

0 моделей