Характеристики

Контекст: 512 токенов
Параметры: 136 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Опубликована: 7 июн 2023

Ссылки

bert_dutch_base_offensive_language

Классификация текстаТекст → label4 профессии

Дообученная модель BERT классифицирует нидерландские публикации, выявляя оскорбительную речь, ругань и направленные оскорбления.

599скачиваний за 30 дней1лайквеса обновлены11 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

GroNLP разработала эту дообученную модель на базе BERT для выявления оскорбительной и неприемлемой лексики в нидерландских твитах. Она относится к архитектуре BertForSequenceClassification, содержит 136,3 млн параметров и принимает текстовые последовательности длиной до 512 токенов.

Модель предназначена для классификации публикаций с оскорблениями, руганью, угрозами и прямыми или завуалированными нападками. В README приведены результаты на DALC v2.0, HateCheck-NL и OP-NL; метрики зависят от набора данных, а оценки на HateCheck-NL показывают, что модель может ошибаться при распознавании как оскорбительных, так и нейтральных примеров. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — Apache-2.0.

Сценарии применения

модерация оскорбительных твитов на нидерландском языке
поиск угроз и нападок в публикациях
фильтрация ругани и ненормативной лексики
анализ токсичности нидерландских сообщений в соцсетях

Ограничения

Качество зависит от контекста и тестового набора: на HateCheck-NL точность составила 61,40%, а точность на нейтральных примерах — 47,61%. Модель обучена на нидерландских твитах, поэтому её надёжность на других жанрах и языках не подтверждена.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232модели IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Fine-tuned model for detecting instances of offensive language in Dutch tweets. The model has been trained with DALC v2.0 .

Offensive language definition is inherited from SemEval 2019 OffensEval: "Posts containing any form of non-acceptable language (profanity) or a targeted offence, which can be veiled or direct. This includes insults, threats, and posts containing profane language or swear words." (Zampieri et al., 2019)

The model achieves the following results on multiple test data:

DALC held-out test set: macro F1: 79.93; F1 Offensive: 70.34
HateCheck-NL (functional benchmark for hate speech): Accuracy: 61.40; Accuracy non-hateful tests: 47.61 ; Accuracy hateful tests: 68.86
OP-NL (dynamic benchmark for offensive language): macro F1: 73.56

More details on the training settings and pre-processing are available here

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: f3c217c