/ Модель

Характеристики

Контекст
514 токенов
Параметры
659 млн
Лицензия
GPL 3.0
Архитектура
xlm-roberta · dense
Опубликована
7 июл 2022

hate-ita-xlm-r-large

Классификация текстаТекст → label3 профессии

Дообученная XLM-RoBERTa-large для бинарного выявления языка ненависти в итальянских текстах социальных сетей.

71скачиваний за 30 дней0лайковвеса обновлены24 янв 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

HATE-ITA Large — модель классификации текста, разработанная Деборой Ноццей, Федерико Бьянки и Джузеппе Аттанасио для выявления языка ненависти в итальянских публикациях в социальных сетях. Это версия XLM-RoBERTa-large, дообученная для бинарной классификации; она использует архитектуру XLM-RoBERTa с 658,7 млн параметров и принимает последовательности длиной до 514 токенов.

Модель предназначена для модерации и анализа италоязычного пользовательского контента, а также для исследований и сравнительной оценки систем выявления языка ненависти. В работе использовались англоязычные данные и доступные итальянские наборы данных; авторы сообщают об улучшении относительно одноязычных моделей и адаптации к специфическим итальянским оскорблениям. Модель распространяется под лицензией GPL-3.0.

Авторы предупреждают, что результаты не гарантируют стабильную и справедливую точность для разных групп и категорий: классификатор может упускать важные нюансы, поэтому его оценки следует проверять с учётом контекста.

Сценарии применения

  • фильтрация итальянских публикаций с языком ненависти
  • первичная модерация комментариев на итальянском языке
  • анализ итальянского контента на наличие оскорблений и языка ненависти
  • исследовательская оценка классификаторов языка ненависти для итальянского языка

Ограничения

Авторы отмечают, что качество может быть нестабильным и несправедливым для разных целевых групп и категорий; модель может упускать существенные нюансы. Её оценки не следует считать окончательным определением наличия языка ненависти.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Debora Nozza • Federico Bianchi • Giuseppe Attanasio

HATE-ITA Large

HATE-ITA is a binary hate speech classification model for Italian social media text.

Abstract

Online hate speech is a dangerous phenomenon that can (and should) be promptly counteracted properly. While Natural Language Processing has been successfully used for the purpose, many of the research efforts are directed toward the English language. This choice severely limits the classification power in non-English languages. In this paper, we test several learning frameworks for identifying hate speech in Italian text. We release HATE-ITA, a set of multi-language models trained on a large set of English data and available Italian datasets. HATE-ITA performs better than mono-lingual models and seems to adapt well also on language-specific slurs. We believe our findings will encourage research in other mid-to-low resource communities and provide a valuable benchmarking tool for the Italian community.

Model

This model is the fine-tuned version of the XLM-RoBERTa-large model.

ModelDownload
hate-itaLink
hate-ita-xlm-r-baseLink
hate-ita-xlm-r-largeLink

Usage

from transformers import pipeline
classifier = pipeline("text-classification",model='MilaNLProc/hate-ita-xlm-r-large',top_k=2)
prediction = classifier("ti odio")
print(prediction)

Citation

Please use the following BibTeX entry if you use this model in your project:

@inproceedings{nozza-etal-2022-hate-ita,
    title = {{HATE-ITA}: Hate Speech Detection in Italian Social Media Text},
    author = "Nozza, Debora and Bianchi, Federico and Attanasio, Giuseppe",
    booktitle = "Proceedings of the 6th Workshop on Online Abuse and Harms",
    year = "2022",
    publisher = "Association for Computational Linguistics"
}

Ethical Statement

While promising, the results in this work should not be interpreted as a definitive assessment of the performance of hate speech detection in Italian. We are unsure if our model can maintain a stable and fair precision across the different targets and categories. HATE-ITA might overlook some sensible details, which practitioners should treat with care.

License

GNU GPLv3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
XLMRobertaForSequenceClassification
Ревизия весов
f7d96c3

0 моделей