Характеристики

Контекст: 514 токенов
Параметры: 95,2 млн
Лицензия: Apache 2.0
Архитектура: roberta · dense
Базовая модель: distilroberta-finetuned-tweets-hate-speech
Опубликована: 29 мар 2022

Ссылки

Hugging Face

Detect-Acoso-Twitter-Es

somosnlp-hackathon-2022

Классификация текстаТекст → label3 профессии

Модель на основе RoBERTa классифицирует испаноязычные публикации в Twitter, помогая выявлять травлю.

18скачиваний за 30 дней5лайковвеса обновлены20 дек 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Detect-Acoso-Twitter-Es — модель классификации испаноязычных публикаций в Twitter для выявления травли. Её создала команда участников хакатона SomosNLP 2022; модель дообучена на наборе hackathon-pln-es/Dataset-Acoso-Twitter-Es на основе mrm8488/distilroberta-finetuned-tweets-hate-speech.

Модель использует архитектуру RoBERTa и содержит 95,2 млн параметров. Она принимает текст и выдаёт результат классификации; максимальная длина контекста — 514 токенов. В карточке приведены результаты на тестовой выборке: accuracy 0,9167 и loss 0,1628. Модель распространяется по лицензии Apache-2.0.

Сценарии применения

выявление травли в испаноязычных твитах
модерация публикаций в Twitter на испанском языке
первичная сортировка сообщений для проверки модератором

Ограничения

В README приведены метрики только на оценочной выборке; качество на других данных и разновидностях испанского может отличаться. Максимальная длина контекста составляет 514 токенов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Detección de acoso en Twitter Español

This model is a fine-tuned version of mrm8488/distilroberta-finetuned-tweets-hate-speech on hackathon-pln-es/Dataset-Acoso-Twitter-Es.

It achieves the following results on the evaluation set:

Loss: 0.1628
Accuracy: 0.9167

UNL: Universidad Nacional de Loja

Miembros del equipo:

Anderson Quizhpe
Luis Negrón
David Pacheco
Bryan Requenes
Paul Pasaca

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 500
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
0.6732	1.0	27	0.3797	0.875
0.5537	2.0	54	0.3242	0.9167
0.5218	3.0	81	0.2879	0.9167
0.509	4.0	108	0.2606	0.9167
0.4196	5.0	135	0.1628	0.9167

Framework versions

Transformers 4.17.0
Pytorch 1.10.0+cu111
Datasets 2.0.0
Tokenizers 0.11.6

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForSequenceClassification
Ревизия весов: e1969f2