Характеристики

Контекст: 258 токенов
Параметры: 162 млн
Архитектура: roberta · dense
Опубликована: 7 мая 2022

Ссылки

Hugging Face

phobert-finetune-hatespeech

tsdocode

Классификация текстаТекст → label4 профессии

Модель на основе PhoBERT классифицирует вьетнамский текст как обычный, оскорбительный или ненавистнический.

137скачиваний за 30 дней2лайкавеса обновлены7 мая 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

tsdocode/phobert-finetune-hatespeech — модель классификации текста на основе PhoBERT, разработанная для выявления оскорбительных и разжигающих ненависть высказываний на вьетнамском языке. Она относит текст к одному из трёх классов: Normal (обычный), OFFENSIVE (оскорбительный) или HATE (ненавистнический). В README указаны наборы данных VLSP2019 и ViHSD, использованные для задачи обнаружения языка ненависти в социальных сетях.

Модель построена на архитектуре RoBERTa, содержит 162,4 млн параметров, принимает текст и выдаёт метку класса; длина контекста — 258 токенов. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

Сценарии применения

модерация вьетнамских публикаций в социальных сетях
поиск оскорбительных сообщений на вьетнамском языке
выявление высказываний ненависти в пользовательском тексте

Ограничения

Классификация ограничена тремя классами и контекстом до 258 токенов; сведений о качестве на других языках или типах текста нет.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

PhoBert finetuned version for hate speech detection

Dataset

VLSP2019: Hate Speech Detection on Social Networks Dataset
ViHSD: Vietnamese Hate Speech Detection dataset

Class name

LABEL_0 : Normal
LABEL_1 : OFFENSIVE
LABEL_2 : HATE

Usage example with TextClassificationPipeline

from transformers import AutoModelForSequenceClassification, AutoTokenizer, TextClassificationPipeline


model = AutoModelForSequenceClassification.from_pretrained("tsdocode/phobert-finetune-hatespeech", num_labels=3)
tokenizer = AutoTokenizer.from_pretrained("tsdocode/phobert-finetune-hatespeech")


pipe = TextClassificationPipeline(model=model, tokenizer=tokenizer, return_all_scores=True)
# outputs a list of dicts like [[{'label': 'NEGATIVE', 'score': 0.0001223755971295759},  {'label': 'POSITIVE', 'score': 0.9998776316642761}]]
pipe("đồ ngu")

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForSequenceClassification
Ревизия весов: ba30492