/ Модель

Характеристики

Контекст
512 токенов
Параметры
265 млн
Лицензия
afl-3.0
Архитектура
bert · dense
Опубликована
24 апр 2022

indic-abusive-allInOne-MuRIL

Классификация текстаТекст → label3 профессии

Дообученная на MuRIL модель классифицирует тексты на обычные и оскорбительные для модерации индийских языков и смешанной речи.

703скачиваний за 30 дней5лайковвеса обновлены2 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель Hate-speech-CNERG/indic-abusive-allInOne-MuRIL — дообученная для классификации оскорбительной речи модель на базе MuRIL, представленная авторами исследования о выявлении оскорбительного языка в индийских языках. Она относит текст к одному из двух классов: обычный или оскорбительный. Модель обучена совместно на данных для бенгальского, хинди письмом деванагари, смешанного хинди, смешанного каннада, смешанного малаялам, маратхи, смешанного тамильского, урду, смешанного урду и английского языков.

Это плотная модель архитектуры BERT с 264,8 млн параметров и контекстом до 512 токенов. Она предназначена для модерации пользовательских публикаций и выявления оскорбительной речи в многоязычных индийских текстах, включая тексты со смешением языков. Модель использует формат PyTorch и Safetensors; лицензия — AFL-3.0.

Модель решает бинарную задачу и может хуже работать на языках, вариантах письма и типах оскорблений, которые не представлены в обучающих данных. README ссылается на исследовательскую работу о методах расширения данных для низкоресурсных индийских языков.

Сценарии применения

  • выявление оскорбительных сообщений в публикациях
  • модерация комментариев на индийских языках
  • фильтрация оскорблений в смешанном хинди и английском
  • поиск оскорбительной речи в текстах на урду и деванагари

Ограничения

Модель выдаёт только бинарную метку «обычный» или «оскорбительный» и рассчитана на перечисленные языки и их варианты смешения. Качество для других языков и разновидностей оскорбительной речи не установлено.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This model is used detecting abusive speech in Bengali, Devanagari Hindi, Code-mixed Hindi, Code-mixed Kannada, Code-mixed Malayalam, Marathi, Code-mixed Tamil, Urdu, Code-mixed Urdu, and English languages. The allInOne in the name refers to the Joint training/Cross-lingual training, where the model is trained using all the languages data. It is finetuned on MuRIL model. The model is trained with learning rates of 2e-5. Training code can be found at this url

LABEL_0 :-> Normal

LABEL_1 :-> Abusive

For more details about our paper

Mithun Das, Somnath Banerjee and Animesh Mukherjee. "Data Bootstrapping Approaches to Improve Low Resource Abusive Language Detection for Indic Languages". Accepted at ACM HT 2022.

Please cite our paper in any published work that uses any of these resources.

@article{das2022data,
  title={Data Bootstrapping Approaches to Improve Low Resource Abusive Language Detection for Indic Languages},
  author={Das, Mithun and Banerjee, Somnath and Mukherjee, Animesh},
  journal={arXiv preprint arXiv:2204.12543},
  year={2022}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
b3bc73f

0 моделей