/ Модель

Характеристики

Контекст
512 токенов
Параметры
190 млн
Лицензия
Apache 2.0
Архитектура
bert · dense
Базовая модель
MARBERTv2
Библиотека
transformers
Опубликована
21 апр 2022

marbertv2-finetuned-egyptian-hate-speech-detection

Классификация текстаТекст → label3 профессии

Дообученная MARBERTv2 классифицирует тексты на египетском арабском как нейтральные или содержащие язык ненависти для поддержки модерации.

170скачиваний за 30 дней3лайкавеса обновлены17 авг 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель разработана IbrahimAmin, Mostafa Abbas, Rany Hatem, Andrew Ihab и Mohamed Waleed Fahkr. Это дообученная версия MARBERTv2 — BERT-модели для понимания арабского текста, настроенная на бинарную классификацию египетских арабских текстов по категориям «нейтральное» и «ненавистническое». Она предназначена для выявления языка ненависти и поддержки модерации контента; обучение проводилось на выборочной версии пользовательского датасета египетской арабской речи.

Модель содержит 190 млн параметров, принимает текст и имеет контекст до 512 токенов. Она рассчитана на египетский диалект арабского языка; качество на современном стандартном арабском и других диалектах может снижаться. Предсказания для сарказма и неоднозначных высказываний могут быть ошибочными, а социально-политические тексты могут вносить смещение. Лицензия — Apache-2.0.

Сценарии применения

  • выявление языка ненависти в египетских арабских сообщениях
  • предварительная классификация публикаций для модерации
  • фильтрация потенциально оскорбительных комментариев на египетском диалекте

Ограничения

Модель обучена специально на египетском арабском, поэтому её качество может снижаться на литературном арабском и других диалектах. Социально-политический контекст, сарказм и пограничные высказывания могут приводить к смещённым или ошибочным классификациям.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

🇪🇬 Egyptian-Arabic Hate Speech Detection 🗣️🚫

Author: IbrahimAmin, Mostafa Abbas, Rany Hatem, Andrew Ihab, Mohamed Waleed Fahkr
License: Apache-2.0
Paper: Fine-tuning Arabic Pre-Trained Transformer Models for Egyptian-Arabic Dialect Offensive Language and Hate Speech Detection and Classification
Languages: Arabic (Egyptian Dialect)


🧠 Model Card

This model is a fine-tuned version of MARBERTv2. We finetuned this model for binary text classification (Neutral-Hate) on a sampled version of a custom Egyptian-Arabic hate speech dataset.


🔧 How to Use

import torch
from transformers import pipeline, AutoTokenizer, AutoModelForSequenceClassification

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = AutoModelForSequenceClassification.from_pretrained("IbrahimAmin/marbertv2-finetuned-egyptian-hate-speech-detection")
tokenizer = AutoTokenizer.from_pretrained("IbrahimAmin/marbertv2-finetuned-egyptian-hate-speech-detection")

classifier = pipeline("text-classification", model=model, tokenizer=tokenizer, device=device)
result = classifier("مبحبش الخلايجه")
print(result)

⚠️ Limitations & Biases

  • Trained specifically on Egyptian Arabic; performance may degrade on MSA or other dialects.
  • Social and political content may introduce bias in predictions.
  • Borderline and sarcastic content may be misclassified.

⚠️ Disclaimer

This model is intended for research and content moderation purposes and is not meant to offend, harm, or promote discrimination against any individual or group. It is important to use this model responsibly and consider the context in which it is applied. Any offensive content detected by the model should be treated with caution and handled appropriately.


👏 Acknowledgement

Model fine-tuning, data collection, annotation and pre-processing for this work were performed as part of a Graduation Project from the Faculty of Engineering, AASTMT, Computer Engineering Program.


📖 Citation

If you use this model in your work, please cite:

@INPROCEEDINGS{10009167,
  author={Ahmed, Ibrahim and Abbas, Mostafa and Hatem, Rany and Ihab, Andrew and Fahkr, Mohamed Waleed},
  booktitle={2022 20th International Conference on Language Engineering (ESOLEC)}, 
  title={Fine-tuning Arabic Pre-Trained Transformer Models for Egyptian-Arabic Dialect Offensive Language and Hate Speech Detection and Classification}, 
  year={2022},
  volume={20},
  number={},
  pages={170-174},
  keywords={Social networking (online);Text categorization;Hate speech;Blogs;Transformers;Natural language processing;Task analysis;Arabic Hate Speech;Natural Language Processing;Transformers;Text Classification},
  doi={10.1109/ESOLEC54569.2022.10009167}}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
5d9a3d5

0 моделей