/ Модель

Характеристики

Контекст
512 токенов
Параметры
212 млн
Лицензия
MIT
Архитектура
bert · dense
Опубликована
2 мар 2022

hate_speech_it

Классификация текстаТекст → label3 профессии

Итальянский BERT-классификатор для выявления неприемлемых, оскорбительных и содержащих насилие комментариев в социальных сетях.

34скачиваний за 30 дней0лайковвеса обновлены8 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель IMSyPP/hate_speech_it — одномовный классификатор ненавистнических высказываний в сообщениях социальных сетей на итальянском языке. Она разработана на основе предварительно обученной языковой модели ALBERTO для итальянского языка и реализована как BERT-классификатор последовательностей; размер составляет 211,6 млн параметров, максимальная длина контекста — 512 токенов.

Модель обучена на 119 670 комментариях YouTube и проверена на отдельной выборке из 21 072 комментариев. Для каждого текста она предсказывает один из четырёх классов: приемлемый, неподобающий, оскорбительный или содержащий насилие. Для обработки рекомендуется использовать исходный токенизатор ALBERTO. Модель подходит для модерации италоязычных комментариев в социальных сетях; результаты классификации не следует считать универсальной оценкой контекста за пределами этого сценария. Лицензия — MIT.

Сценарии применения

  • модерация комментариев YouTube на итальянском языке
  • выявление ненавистнических высказываний в италоязычных соцсетях
  • классификация комментариев по степени неприемлемости
  • фильтрация оскорбительного контента на итальянском языке

Ограничения

Модель обучалась и проверялась на комментариях YouTube на итальянском языке; качество на других языках и типах текста не подтверждено. Для инференса рекомендуется исходный токенизатор ALBERTO.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Hate Speech Classifier for Social Media Content in Italian Language

A monolingual model for hate speech classification of social media content in Italian language. The model was trained on 119,670 YouTube comments and tested on an independent test set of 21,072 YouTube comments. It is based on Italian ALBERTO pre-trained language model.

Please cite:

Kralj Novak, P., Scantamburlo, T., Pelicon, A., Cinelli, M., Mozetič, I., & Zollo, F. (2022, July). Handling disagreement in hate speech modelling. In International Conference on Information Processing and Management of Uncertainty in Knowledge-Based Systems (pp. 681-695). Cham: Springer International Publishing. https://link.springer.com/chapter/10.1007/978-3-031-08974-9_54

Tokenizer

During training the text was preprocessed using the original Italian ALBERTO tokenizer. We suggest the same tokenizer is used for inference.

Model output

The model classifies each input into one of four distinct classes:

  • 0 - acceptable

  • 1 - inappropriate

  • 2 - offensive

  • 3 - violent

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
46e36cd

0 моделей