/ Модель

Характеристики

Контекст
512 токенов
Параметры
138 млн
Лицензия
Apache 2.0
Архитектура
bert · dense
Опубликована
2 мар 2022

da-hatespeech-classification-base

Классификация текстаТекст → label3 профессии

Датская BERT-модель для распределения обнаруженных оскорбительных сообщений по категориям угроз, личных нападок, оскорбительной лексики и спама.

865скачиваний за 30 дней0лайковвеса обновлены20 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

alexandrainst/da-hatespeech-classification-base — датская BERT-модель, разработанная Alexandra Institute для классификации оскорбительных текстов в четыре категории: особое внимание, включая угрозы; личные нападки; оскорбительная лексика; спам и другой нежелательный контент. Модель построена на предварительно обученной Danish BERT от BotXO и дообучена на данных из социальных сетей с ручной разметкой, подготовленных совместно с Danmarks Radio.

Модель предназначена для второго этапа конвейера модерации: сначала следует применить модель обнаружения hate speech, затем эту модель — для категоризации найденных оскорбительных сообщений. Это BERT-классификатор последовательностей на 137,8 млн параметров с контекстом до 512 токенов; доступны форматы PyTorch, Safetensors и TensorFlow.

Модель рассчитана на датский язык и тексты из социальных сетей. Обучающие данные не опубликованы, а модель предназначена для работы после детектора hate speech, поэтому сама по себе не заменяет этап обнаружения. Лицензия — Apache-2.0.

Сценарии применения

  • категоризация оскорбительных сообщений в соцсетях
  • выделение угроз для дополнительной проверки модераторами
  • выявление личных нападок в датских публикациях
  • сортировка оскорбительной лексики по типам
  • отделение спама от других видов нежелательного контента

Ограничения

Модель предназначена для категоризации после отдельного этапа обнаружения hate speech, а не для самостоятельного выявления таких сообщений. Обучающие данные не опубликованы.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Danish BERT for hate speech classification

The BERT HateSpeech model classifies offensive Danish text into 4 categories:

  • Særlig opmærksomhed (special attention, e.g. threat)
  • Personangreb (personal attack)
  • Sprogbrug (offensive language)
  • Spam & indhold (spam) This model is intended to be used after the BERT HateSpeech detection model.

It is based on the pretrained Danish BERT model by BotXO which has been fine-tuned on social media data.

See the DaNLP documentation for more details.

Here is how to use the model:

from transformers import BertTokenizer, BertForSequenceClassification

model = BertForSequenceClassification.from_pretrained("alexandrainst/da-hatespeech-classification-base")
tokenizer = BertTokenizer.from_pretrained("alexandrainst/da-hatespeech-classification-base")

Training data

The data used for training has not been made publicly available. It consists of social media data manually annotated in collaboration with Danmarks Radio.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
1315b9f

0 моделей