Модель на основе BERTje классифицирует нидерландоязычные публикации в соцсетях по четырём уровням приемлемости и вредоносности.
53скачиваний за 30 дней6лайковвеса обновлены20 мая 2022
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
IMSyPP/hate_speech_nl — одноязычная модель классификации публикаций в социальных сетях на нидерландском языке. Она разработана на основе предварительно обученной языковой модели BERTje и дообучена для отнесения текста к одному из четырёх классов: приемлемый, неподобающий, оскорбительный или содержащий насилие. Модель обучали на 20 000 публикациях YouTube, Twitter и Facebook и проверяли на отдельной выборке из 2 000 публикаций.
Модель использует архитектуру BERT для классификации последовательностей, принимает текст и выдаёт метку класса. Размер модели — 136,3 млн параметров, контекст — до 512 токенов. Для обработки текста рекомендуется токенизатор BERTje. Модель подходит для модерации нидерландоязычного контента в социальных сетях. Лицензия — MIT.
Сценарии применения
модерация нидерландоязычных публикаций в соцсетях
выявление оскорбительных сообщений на нидерландском языке
поиск публикаций с языком ненависти
классификация сообщений по уровню неприемлемости
выявление текстов с угрозами и насилием
Ограничения
Модель предназначена для нидерландского языка и обучалась на публикациях из конкретных социальных сетей, поэтому её точность на других языках, жанрах и современных данных может отличаться. Для инференса рекомендуется использовать токенизатор BERTje.
Для каких профессий подходит4
Разделы каталога профессий, в задачах которых используется эта модель
Hate Speech Classifier for Social Media Content in Dutch
A monolingual model for hate speech classification of social media content in Dutch. The model was trained on 20000 social media posts (youtube, twitter, facebook) and tested on an independent test set of 2000 posts. It is based on thepre-trained language model BERTje.
Tokenizer
During training the text was preprocessed using the BERTje tokenizer. We suggest the same tokenizer is used for inference.
Model output
The model classifies each input into one of four distinct classes:
0 - acceptable
1 - inappropriate
2 - offensive
3 - violent
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров