/ Модель

Характеристики

Контекст
512 токенов
Параметры
138 млн
Лицензия
Apache 2.0
Архитектура
bert · dense
Опубликована
2 мар 2022

da-hatespeech-detection-base

Классификация текстаТекст → label3 профессии

Датский BERT-классификатор выявляет оскорбительную речь в текстах социальных сетей.

1 742скачиваний за 30 дней1лайквеса обновлены20 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель alexandrainst/da-hatespeech-detection-base — датский BERT-классификатор от Alexandra Institute для определения оскорбительного или неоскорбительного содержания в тексте. Это модель BertForSequenceClassification на 137,8 млн параметров, дообученная на размеченных данных из социальных сетей; базовая модель — предварительно обученный Danish BERT от BotXO.

Модель предназначена для классификации датских публикаций и сообщений, например для выявления оскорбительной речи при модерации контента. Она принимает текст и возвращает метку классификации. Длина контекста составляет 512 токенов; доступны веса PyTorch, Safetensors и TensorFlow.

Обучающие данные вручную размечались совместно с Danmarks Radio, но не опубликованы, поэтому их состав и воспроизводимость ограничены. Модель выпущена по лицензии Apache-2.0.

Сценарии применения

  • модерация датских публикаций в социальных сетях
  • выявление оскорбительных сообщений на датском языке
  • фильтрация пользовательских комментариев перед публикацией

Ограничения

Обучающие данные не опубликованы, что ограничивает возможность проверить их состав и воспроизвести обучение. Контекст ограничен 512 токенами; классификатор предназначен для датского языка.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Danish BERT for hate speech (offensive language) detection

The BERT HateSpeech model detects whether a Danish text is offensive or not. It is based on the pretrained Danish BERT model by BotXO which has been fine-tuned on social media data.

See the DaNLP documentation for more details.

Here is how to use the model:

from transformers import BertTokenizer, BertForSequenceClassification

model = BertForSequenceClassification.from_pretrained("alexandrainst/da-hatespeech-detection-base")
tokenizer = BertTokenizer.from_pretrained("alexandrainst/da-hatespeech-detection-base")

Training data

The data used for training has not been made publicly available. It consists of social media data manually annotated in collaboration with Danmarks Radio.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
6ec0fe1

0 моделей