/ Модель

Характеристики

Контекст
512 токенов
Параметры
265 млн
Лицензия
afl-3.0
Архитектура
bert · dense
Опубликована
24 апр 2022

hindi-abusive-MuRIL

Классификация текстаТекст → label3 профессии

Модель на базе MuRIL классифицирует тексты на хинди как обычные или содержащие оскорбительную речь.

87скачиваний за 30 дней5лайковвеса обновлены3 мая 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Hate-speech-CNERG/hindi-abusive-MuRIL — модель классификации текста, разработанная для обнаружения оскорбительной речи на хинди, записанном деванагари. Она дообучена на базе MuRIL на наборе данных об оскорбительной речи на хинди; архитектура — BERT для классификации последовательностей, размер — 264,8 млн параметров, контекст — до 512 токенов.

Модель присваивает тексту один из двух классов: обычное высказывание или оскорбительное. Она предназначена для выявления оскорблений в текстах на хинди и изучения классификации низкоресурсных индийских языков. Доступны веса PyTorch, лицензия — AFL-3.0. Авторы связывают модель с исследованием по улучшению обнаружения оскорбительной речи в индийских языках с помощью бутстрэппинга данных.

Сценарии применения

  • выявление оскорблений в сообщениях на хинди
  • модерация комментариев на хинди
  • фильтрация оскорбительной речи в текстах на деванагари

Ограничения

Модель предназначена для текстов на хинди в письменности деванагари и различает только два класса — обычный и оскорбительный. Результаты для других языков, письменностей и пограничных случаев могут быть ненадёжны.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This model is used detecting abusive speech in Devanagari Hindi. It is finetuned on MuRIL model using Hindi abusive speech dataset. The model is trained with learning rates of 2e-5. Training code can be found at this url

LABEL_0 :-> Normal

LABEL_1 :-> Abusive

For more details about our paper

Mithun Das, Somnath Banerjee and Animesh Mukherjee. "Data Bootstrapping Approaches to Improve Low Resource Abusive Language Detection for Indic Languages". Accepted at ACM HT 2022.

Please cite our paper in any published work that uses any of these resources.

@article{das2022data,
  title={Data Bootstrapping Approaches to Improve Low Resource Abusive Language Detection for Indic Languages},
  author={Das, Mithun and Banerjee, Somnath and Mukherjee, Animesh},
  journal={arXiv preprint arXiv:2204.12543},
  year={2022}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
a551d03

0 моделей