/ Модель

Характеристики

Контекст
512 токенов
Параметры
12 млн
Архитектура
bert · dense
Опубликована
15 июн 2023

bert-hateXplain

Классификация текстаТекст → label3 профессии

BERT-модель для классификации английского текста как токсичного или нетоксичного.

99скачиваний за 30 дней0лайковвеса обновлены8 окт 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

tum-nlp/bert-hateXplain — модель классификации текста на основе BERT, разработанная командой tum-nlp. Она дообучена на наборе HateXplain и предназначена для определения токсичного и нетоксичного текста. Модель содержит 12 млн параметров, принимает последовательности длиной до 512 токенов и распространяется в формате PyTorch.

В README указаны F1 0,81 и точность 0,77. Модель подходит для автоматической модерации и предварительной сортировки пользовательских сообщений. Оценки качества приведены без описания протокола и набора проверки, поэтому их переносимость на другие данные не установлена. Карточка не сообщает лицензию.

Сценарии применения

  • фильтрация токсичных сообщений
  • предварительная модерация комментариев
  • выявление оскорбительного текста
  • сортировка сообщений для ручной проверки

Ограничения

Метрики F1 0,81 и точность 0,77 приведены без сведений о протоколе оценки, поэтому качество на других данных может отличаться. Лицензия в доступных сведениях не указана.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

BERT for hate speech classification

The model is based on BERT and used for classifying a text as toxic and non-toxic. It achieved an F1 score of 0.81 and an Accuracy of 0.77.

The model was fine-tuned on the HateXplain dataset found here: https://huggingface.co/datasets/hatexplain

How to use

from transformers import AutoModelForSequenceClassification, AutoTokenizer, pipeline

# Load model and tokenizer
tokenizer = AutoTokenizer.from_pretrained('tum-nlp/bert-hateXplain')
model = AutoModelForSequenceClassification.from_pretrained('tum-nlp/bert-hateXplain')

# Create the pipeline for classification
hate_classifier = pipeline("text-classification", model=model, tokenizer=tokenizer)

# Predict
hate_classifier("I like you. I love you")

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
274ddee

0 моделей