/ Модель

Характеристики

Контекст
512 токенов
Параметры
137 млн
Лицензия
Apache 2.0
Архитектура
bert · dense

bert-base-uncased-hatexplain

Классификация текстаТекст → label3 профессии

Англоязычная модель на базе BERT классифицирует тексты как язык ненависти, оскорбительные или нормальные для поддержки модерации.

1 751скачиваний за 30 дней24лайкавеса обновлены25 мая 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это англоязычная модель классификации текста на базе BERT, опубликованная организацией Hate-speech-CNERG. Она относит текст к одной из трёх категорий: hate speech, оскорбительный или нормальный. Модель обучена на данных Gab и Twitter; при обучении использовались человеческие обоснования разметки, чтобы улучшить качество обнаружения языка ненависти.

Модель предназначена для автоматической модерации и анализа публикаций и сообщений на английском языке. Архитектура — BertForSequenceClassification, размер — 136,7 млн параметров; максимальный контекст составляет 512 токенов. Доступны версии весов PyTorch и Flax.

Карточка не приводит количественных оценок качества или подробностей о том, как модель выделяет обоснования в предсказаниях. Результаты классификации следует проверять с учётом контекста и возможных ошибок при различении оскорблений и языка ненависти. Лицензия — Apache-2.0.

Сценарии применения

  • поиск языка ненависти в публикациях Gab и Twitter
  • фильтрация оскорбительных сообщений
  • предварительная сортировка текстов для модерации
  • анализ англоязычных сообщений по категориям токсичности

Ограничения

Карточка не приводит количественных оценок качества; обучающие данные взяты из Gab и Twitter, поэтому результаты могут хуже переноситься на другие жанры и контексты. Модель выдаёт категории, а подробный механизм предоставления обоснований в предсказаниях не описан.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

The model is used for classifying a text as Hatespeech, Offensive, or Normal. The model is trained using data from Gab and Twitter and Human Rationales were included as part of the training data to boost the performance.

The dataset and models are available here: https://github.com/punyajoy/HateXplain

For more details about our paper

Binny Mathew, Punyajoy Saha, Seid Muhie Yimam, Chris Biemann, Pawan Goyal, and Animesh Mukherjee "[HateXplain: A Benchmark Dataset for Explainable Hate Speech Detection)". Accepted at AAAI 2021.

Please cite our paper in any published work that uses any of these resources.

@article{mathew2020hatexplain,
  title={HateXplain: A Benchmark Dataset for Explainable Hate Speech Detection},
  author={Mathew, Binny and Saha, Punyajoy and Yimam, Seid Muhie and Biemann, Chris and Goyal, Pawan and Mukherjee, Animesh},
  journal={arXiv preprint arXiv:2012.10289},
  year={2020}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
e487c81

0 моделей