/ Модель

Характеристики

Контекст
512 токенов
Параметры
265 млн
Лицензия
afl-3.0
Архитектура
bert · dense
Опубликована
25 апр 2022

urdu-abusive-MuRIL

Классификация текстаТекст → label5 профессий

BERT-модель на основе MuRIL классифицирует тексты на урду как нормальные или оскорбительные.

181скачиваний за 30 дней2лайкавеса обновлены3 мая 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель Hate-speech-CNERG/urdu-abusive-MuRIL разработана для выявления оскорбительной речи на урду. Это дообученная на наборе данных для распознавания оскорбительной речи модель MuRIL с архитектурой BERT для классификации последовательностей; она относит текст к классу «нормальный» или «оскорбительный». Модель рассчитана на классификацию текста на урду, имеет 264,8 млн параметров и контекст до 512 токенов.

Модель подходит для автоматической фильтрации оскорбительных высказываний и анализа пользовательских текстов на урду, в том числе в условиях ограниченных данных для этого языка. Она описана в работе о методах расширения данных для выявления оскорбительной речи в индийских языках. Лицензия — AFL-3.0; при публикации результатов с использованием ресурса авторы просят цитировать эту работу.

Сценарии применения

  • выявление оскорблений в сообщениях на урду
  • модерация комментариев на урду
  • фильтрация оскорбительных пользовательских текстов
  • разметка корпусов урду для анализа языка вражды

Ограничения

Модель предназначена для урду и не рассчитана на другие языки. Классификация ограничена двумя категориями — нормальная и оскорбительная речь.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This model is used to detect abusive speech in Urdu. It is finetuned on MuRIL model using Urdu abusive speech dataset. The model is trained with learning rates of 2e-5. Training code can be found at this url

LABEL_0 :-> Normal

LABEL_1 :-> Abusive

For more details about our paper

Mithun Das, Somnath Banerjee and Animesh Mukherjee. "Data Bootstrapping Approaches to Improve Low Resource Abusive Language Detection for Indic Languages". Accepted at ACM HT 2022.

Please cite our paper in any published work that uses any of these resources.

@article{das2022data,
  title={Data Bootstrapping Approaches to Improve Low Resource Abusive Language Detection for Indic Languages},
  author={Das, Mithun and Banerjee, Somnath and Mukherjee, Animesh},
  journal={arXiv preprint arXiv:2204.12543},
  year={2022}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
88c6bf8

0 моделей