/ Модель

Характеристики

Контекст
512 токенов
Параметры
265 млн
Лицензия
afl-3.0
Архитектура
bert · dense
Опубликована
24 апр 2022

bengali-abusive-MuRIL

Классификация текстаТекст → label3 профессии

Дообученная на MuRIL модель классифицирует бенгальский текст как обычный или оскорбительный.

344скачиваний за 30 дней1лайквеса обновлены3 мая 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель Hate-speech-CNERG/bengali-abusive-MuRIL предназначена для выявления оскорбительной речи на бенгальском языке. Это дообученная для бинарной классификации текста модель на основе MuRIL; метки LABEL_0 и LABEL_1 соответствуют обычному и оскорбительному тексту. Она подходит для анализа бенгальских сообщений и комментариев, чтобы находить потенциально оскорбительные высказывания.

Модель имеет архитектуру BERT для классификации последовательностей, содержит 264,8 млн параметров и принимает текст длиной до 512 токенов. Разработчики связывают её с исследованием по обнаружению оскорбительного языка для индийских языков с ограниченными ресурсами. Лицензия репозитория — AFL-3.0.

Сценарии применения

  • поиск оскорбительных высказываний в бенгальских комментариях
  • модерация публикаций на бенгальском языке
  • фильтрация оскорбительных сообщений в сообществах
  • анализ распространённости оскорбительной речи в бенгальских текстах

Ограничения

Модель предназначена для бенгальского языка и ограничена контекстом до 512 токенов; карточка не приводит метрик качества или подробностей о границах классов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This model is used detecting abusive speech in Bengali. It is finetuned on MuRIL model using bengali abusive speech dataset. The model is trained with learning rates of 2e-5. Training code can be found at this url

LABEL_0 :-> Normal

LABEL_1 :-> Abusive

For more details about our paper

Mithun Das, Somnath Banerjee and Animesh Mukherjee. "Data Bootstrapping Approaches to Improve Low Resource Abusive Language Detection for Indic Languages". Accepted at ACM HT 2022.

Please cite our paper in any published work that uses any of these resources.

@article{das2022data,
  title={Data Bootstrapping Approaches to Improve Low Resource Abusive Language Detection for Indic Languages},
  author={Das, Mithun and Banerjee, Somnath and Mukherjee, Animesh},
  journal={arXiv preprint arXiv:2204.12543},
  year={2022}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
afb4d36

0 моделей