/ Модель

Характеристики

Контекст
512 токенов
Параметры
265 млн
Лицензия
afl-3.0
Архитектура
bert · dense
Опубликована
25 апр 2022

tamil-codemixed-abusive-MuRIL

Классификация текстаТекст → label3 профессии

Дообученный на MuRIL классификатор выявляет оскорбительную речь в код-смешанных тамильских текстах.

47скачиваний за 30 дней0лайковвеса обновлены3 мая 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель Hate-speech-CNERG/tamil-codemixed-abusive-MuRIL разработана для выявления оскорбительной речи в текстах на тамильском языке, смешанном с другими языками. Это дообученная на датасете оскорбительной речи модель MuRIL на базе BERT, реализованная как классификатор последовательностей с 264,8 млн параметров и контекстом до 512 токенов.

Модель относит текст к одному из двух классов: обычный («Normal») или оскорбительный («Abusive»). Она предназначена для классификации код-смешанных тамильских сообщений и исследований выявления оскорбительной речи в низкоресурсных индийских языках. Авторы связывают работу с публикацией о методах расширения обучающих данных для таких задач.

Модель опубликована под лицензией AFL-3.0. Она специализируется на код-смешанном тамильском тексте; результаты за пределами этого сценария и качество на разных вариантах письма или смешения языков в карточке не описаны.

Сценарии применения

  • Фильтрация оскорбительных сообщений на тамильском языке
  • Модерация код-смешанных тамильских публикаций в соцсетях
  • Разметка тамильских сообщений как обычных или оскорбительных

Ограничения

Модель рассчитана на код-смешанный тамильский текст; её качество на других языках и вариантах смешения в карточке не описано. Классификатор выдаёт только два класса: обычный и оскорбительный.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This model is used to detect abusive speech in Code-Mixed Tamil. It is finetuned on MuRIL model using Code-Mixed Tamil abusive speech dataset. The model is trained with learning rates of 2e-5. Training code can be found at this url

LABEL_0 :-> Normal

LABEL_1 :-> Abusive

For more details about our paper

Mithun Das, Somnath Banerjee and Animesh Mukherjee. "Data Bootstrapping Approaches to Improve Low Resource Abusive Language Detection for Indic Languages". Accepted at ACM HT 2022.

Please cite our paper in any published work that uses any of these resources.

@article{das2022data,
  title={Data Bootstrapping Approaches to Improve Low Resource Abusive Language Detection for Indic Languages},
  author={Das, Mithun and Banerjee, Somnath and Mukherjee, Animesh},
  journal={arXiv preprint arXiv:2204.12543},
  year={2022}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
6eef32c

0 моделей