/ Модель

Характеристики

Контекст
514 токенов
Параметры
305 млн
Лицензия
Apache 2.0
Архитектура
xlm-roberta · dense
Базовая модель
xlm-roberta-base
Библиотека
transformers
Опубликована
18 дек 2025

hatespeech-abusive-xlm-roberta-v1

Классификация текстаТекст → label3 профессии

Модель XLM-RoBERTa выявляет hate speech и оскорбительную лексику в многоязычных текстах социальных сетей.

248скачиваний за 30 дней0лайковвеса обновлены18 дек 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель nahiar/hatespeech-abusive-xlm-roberta-v1 — дообученная Nahiar модель XLM-RoBERTa для многометочной классификации текстов из социальных сетей. Она одновременно выявляет hate speech и оскорбительную лексику, допуская присвоение обеих меток одному тексту. Архитектура — XLMRobertaForSequenceClassification, размер — 305,2 млн параметров, контекст — до 514 токенов; модель распространяется в формате safetensors и рассчитана на работу через Transformers.

Модель предназначена для модерации контента, систем безопасности и мониторинга пользовательских публикаций, включая неформальные и шумные тексты. Заявлена поддержка индонезийского, английского, малайского и ряда региональных языков Индонезии; в README приведены метрики проверки, но их значения могут зависеть от разбиения данных и порога классификации. Лицензия — Apache-2.0.

Классификация ограничена двумя метками: hate speech и abusive language. Модель не определяет конкретную цель ненависти или защищённый признак, может ошибаться на сарказме и требует проверки человеком перед применением решений с юридическими или политическими последствиями.

Сценарии применения

  • модерация публикаций и комментариев в соцсетях
  • выявление оскорбительной речи в пользовательских сообщениях
  • фильтрация hate speech перед публикацией
  • мониторинг токсичного контента на индонезийском и английском
  • предварительная проверка контента перед анализом тональности или тем

Ограничения

Модель распознаёт только hate speech и abusive language, не определяет конкретную цель ненависти или защищённые признаки и может ошибаться на сарказме. Для юридических или политических решений необходима проверка человеком.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Hate Speech & Abusive Language Detection (Multilabel)

Multilingual Indonesian & English — XLM-RoBERTa

This repository provides a fine-tuned XLM-RoBERTa model for MULTILABEL HATE CONTENT DETECTION in social media text.
The model is designed to identify Hate Speech and Abusive Language simultaneously across Indonesian, regional Indonesian languages, and English, particularly in noisy and informal online conversations.


🚀 Highlights

  • Multilabel classification: Hate Speech & Abusive Language
  • Supports overlapping labels in a single text
  • Multilingual (Indonesia + English)
  • Robust on informal and user-generated content
  • Ready-to-use with Hugging Face pipeline
  • Suitable for content moderation and safety systems

🌍 Supported Languages

  • 🇮🇩 Bahasa Indonesia
  • Bahasa Melayu
  • Indonesian regional languages (Aceh, Banjar, Bugis, Jawa, Madura, Minang, Sunda, dll.)
  • 🇬🇧 English

📊 Model Performance

Performance metrics are reported on a held-out validation set.

MetricScore
Precision0.9249
Recal0.9300
F1 (Macro)0.9274
F1 (Weighted)0.9269
Training Loss0.1181
Validation Loss0.2070

(Exact scores may vary depending on evaluation split and threshold.)


⚙️ Usage

Installation

pip install transformers torch

Single Prediction

from transformers import pipeline

classifier = pipeline(
    task="text-classification",
    model="nahiar/hatespeech-abusive-xlm-roberta-v1",
    return_all_scores=True
)

result = classifier("Dasar bodoh, otak udang!")
print(result)

Output

[
  {'label': 'HATESPEECH', 'score': 0.9123},
  {'label': 'ABUSIVE', 'score': 0.9841}
]

Because this is a multilabel model, more than one label can be active for a single input.


🏷️ Label Definitions

HATESPEECH → Content that attacks or demeans a group based on identity
ABUSIVE    → Insulting, offensive, or aggressive language without protected targets

📦 Batch Inference

texts = [
    "Dasar kaum ini selalu bikin rusuh",
    "Kamu memang bodoh dan tidak berguna",
    "Saya tidak setuju dengan pendapat kamu"
]

results = classifier(texts)

for text, preds in zip(texts, results):
    labels = [(p["label"], round(p["score"], 4)) for p in preds]
    print(text, "→", labels)

🏗️ Training Configuration

ParameterValue
Base Modelxlm-roberta-base
Task TypeMultilabel Classification
Training StrategyFine-tuning
EpochsMultiple
Learning Rate2e-5
Batch Size16
Training Date2025-12-18

🎯 Intended Use

  • Hate speech & abusive language moderation
  • Content safety and compliance systems
  • Social media monitoring dashboards
  • Pre-filtering before sentiment or topic analysis

⚠️ Limitations

  • Limited to Hate Speech and Abusive Language labels
  • Does not identify specific hate targets or protected attributes
  • Context-dependent sarcasm may be misclassified
  • Not suitable for legal or policy enforcement without human review

📜 License

This model is released under the Apache License 2.0 Free for research and commercial use.


📚 Citation

@misc{djunaedi2025hatespeech_multilabel,
  author    = {Raihan Hidayatulloh Djunaedi},
  title     = {Multilabel Hate Speech and Abusive Language Detection for Social Media Text},
  year      = {2025},
  publisher = {Hugging Face},
  url       = {https://huggingface.co/nahiar/hatespeech-xlmr-v4}
}

🙌 Acknowledgements

  • Hugging Face Transformers
  • Facebook AI Research — XLM-RoBERTa

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
XLMRobertaForSequenceClassification
Ревизия весов
340cedb

0 моделей