/ Модель

Характеристики

Контекст
512 токенов
Параметры
190 млн
Лицензия
Apache 2.0
Архитектура
bert · dense
Базовая модель
MARBERTv2
Библиотека
transformers
Опубликована
4 мая 2025

marbertv2-finetuned-egyptian-hate-speech-classification

Классификация текстаТекст → label3 профессии

Модель на базе MARBERTv2 выявляет оскорбления и дискриминационную речь в текстах на египетском арабском диалекте.

116скачиваний за 30 дней1лайквеса обновлены17 авг 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это модель классификации текста на основе MARBERTv2, дообученная Ibrahim Amin, Mostafa Abbas, Rany Hatem, Andrew Ihab и Mohamed Waleed Fahkr для анализа египетского диалекта арабского языка. Она относит текст к одной из пяти категорий: нейтральный, оскорбительный, сексистский, расистский или содержащий религиозную дискриминацию. Модель предназначена для модерации контента, анализа языка в социальных сетях и исследований арабского языка в диалектном контексте.

Модель использует архитектуру BERT и содержит 190 млн параметров; максимальная длина контекста — 512 токенов. Она принимает текст и выдаёт класс категории. Обучена на вручную размеченных текстах египетских социальных сетей. Распространяется по лицензии Apache-2.0.

Сценарии применения

  • модерация публикаций на египетском арабском
  • выявление языка вражды в сообщениях соцсетей
  • классификация оскорбительных высказываний
  • анализ сексистских и расистских высказываний
  • поиск религиозной дискриминации в текстах

Ограничения

Обучена специально для египетского диалекта; на литературном арабском и других диалектах качество может снижаться. Возможны смещения при оценке социально-политических текстов и ошибки на сарказме или пограничных случаях.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

🇪🇬 Egyptian-Arabic Hate Speech Classification 🗣️🚫

Author: IbrahimAmin, Mostafa Abbas, Rany Hatem, Andrew Ihab, Mohamed Waleed Fahkr
License: Apache-2.0
Paper: Fine-tuning Arabic Pre-Trained Transformer Models for Egyptian-Arabic Dialect Offensive Language and Hate Speech Detection and Classification
Languages: Arabic (Egyptian Dialect)


🧠 Model Card

This model is a fine-tuned version of UBC-NLP/MARBERTv2, optimized for multiclass text classification in Egyptian Arabic. It classifies input text into one of the following five categories:

  • Neutral
  • Offensive
  • Sexism
  • Racism
  • Religious Discrimination

It is particularly useful for content moderation, hate speech analysis, and Arabic NLP research in dialectal contexts.


📚 Dataset

The model was fine-tuned on a custom manually annotated dataset: IbrahimAmin/egyptian-arabic-hate-speech, which contains thousands of Egyptian-Arabic social media texts labeled by category.


🔧 How to Use

import torch
from transformers import pipeline, AutoTokenizer, AutoModelForSequenceClassification

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = AutoModelForSequenceClassification.from_pretrained("IbrahimAmin/marbertv2-finetuned-egyptian-hate-speech-classification")
tokenizer = AutoTokenizer.from_pretrained("IbrahimAmin/marbertv2-finetuned-egyptian-hate-speech-classification")

classifier = pipeline("text-classification", model=model, tokenizer=tokenizer, device=device)
result = classifier("مبحبش الخلايجه")
print(result)

⚠️ Limitations & Biases

  • Trained specifically on Egyptian Arabic; performance may degrade on MSA or other dialects.
  • Social and political content may introduce bias in predictions.
  • Borderline and sarcastic content may be misclassified.

⚠️ Disclaimer

This model is intended for research and content moderation purposes and is not meant to offend, harm, or promote discrimination against any individual or group. It is important to use this model responsibly and consider the context in which it is applied. Any offensive content detected by the model should be treated with caution and handled appropriately.


👏 Acknowledgement

Model fine-tuning, data collection, annotation and pre-processing for this work were performed as part of a Graduation Project from the Faculty of Engineering, AASTMT, Computer Engineering Program.


📖 Citation

If you use this model in your work, please cite:

@INPROCEEDINGS{10009167,
  author={Ahmed, Ibrahim and Abbas, Mostafa and Hatem, Rany and Ihab, Andrew and Fahkr, Mohamed Waleed},
  booktitle={2022 20th International Conference on Language Engineering (ESOLEC)}, 
  title={Fine-tuning Arabic Pre-Trained Transformer Models for Egyptian-Arabic Dialect Offensive Language and Hate Speech Detection and Classification}, 
  year={2022},
  volume={20},
  number={},
  pages={170-174},
  keywords={Social networking (online);Text categorization;Hate speech;Blogs;Transformers;Natural language processing;Task analysis;Arabic Hate Speech;Natural Language Processing;Transformers;Text Classification},
  doi={10.1109/ESOLEC54569.2022.10009167}}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
a641e0c

0 моделей