/ Модель

Характеристики

Контекст
512 токенов
Параметры
138 млн
Архитектура
electra · dense
Опубликована
9 июн 2023

BanglaHateBert

Классификация текстаТекст → label3 профессии

Модель классификации бенгальского текста для выявления оскорбительной речи и поддержки модерации.

210скачиваний за 30 дней1лайквеса обновлены15 июн 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

BanglaHateBERT — модель классификации текста для выявления оскорбительной речи на бенгальском языке. Автор карточки — saroarj, модель опубликована в формате PyTorch для библиотеки Hugging Face Transformers. В метаданных указано семейство ELECTRA, класс BertForSequenceClassification, 137,8 млн параметров и контекст до 512 токенов.

Модель предназначена для анализа бенгальских текстов и выявления abusive language. Её можно применять для первичной модерации пользовательских сообщений и разметки текста по наличию оскорбительной речи.

Модель распространяется по лицензии OpenRail. Карточка не приводит метрик качества и подробностей о классах разметки или тестовом наборе; эти сведения следует проверить перед использованием в критичных сценариях.

Сценарии применения

  • выявление оскорбительной речи в сообщениях на бенгальском языке
  • первичная модерация комментариев на бенгальском языке
  • разметка бенгальских текстов для анализа токсичности

Ограничения

В карточке не приведены метрики качества, подробное описание классов разметки или сведения о составе тестового набора. Контекст ограничен 512 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Hugging Face Readme: BanglaHateBERT

License: OpenRail

This repository contains the BanglaHateBERT model, designed for Abusive Language Detection in Bengali. It leverages the powerful BERT architecture and is made available through the Hugging Face Transformers library.

Installation

To use BanglaHateBERT, you need to install the transformers library:

pip install transformers

Usage

Here's a simple example demonstrating how to load the tokenizer and the model:

from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("saroarj/BanglaHateBert")
model = AutoModelForSequenceClassification.from_pretrained("saroarj/BanglaHateBert")

Citation

If you use BanglaHateBERT in your research or work, please cite the following paper:

@inproceedings{jahan2022banglahatebert,
  title={BanglaHateBERT: BERT for Abusive Language Detection in Bengali},
  author={Jahan, Md Saroar and Haque, Mainul and Arhab, Nabil and Oussalah, Mourad},
  booktitle={Proceedings of the Second International Workshop on Resources and Techniques for User Information in Abusive Language Analysis},
  pages={8--15},
  year={2022}
}

Test Dataset and Source Code

You can find the test dataset for BanglaHateBERT at the following link: https://github.com/saroarjahan/BanglaHateBert.

For the source code, please email me at [saroarjahan01[a..t]gmail . com].

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
7bfc1c7

0 моделей