Характеристики

Контекст: 514 токенов
Параметры: 454 млн
Архитектура: roberta · dense
Базовая модель: bertweet-large-sexism-detector
Опубликована: 22 апр 2024

Ссылки

Hugging Face

bertweet-large-sexism-detector

dtorber

Классификация текстаТекст → label

Модель классифицирует англоязычные твиты, определяя, содержат ли они сексистские высказывания.

102скачиваний за 30 дней0лайковвеса обновлены1 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

dtorber/bertweet-large-sexism-detector — модель классификации текста на основе архитектуры RoBERTa с 454,1 млн параметров, дообученная на базе NLP-LTU/bertweet-large-sexism-detector. Она предназначена для определения сексистского содержания в англоязычных твитах. Максимальная длина контекста составляет 514 токенов. В README приведены результаты оценки: F-measure 0,7526, нормализованный ICM 0,6258, ICM 0,2479 и loss 0,9648; набор данных и подробности оценки не раскрыты. Модель опубликована в формате safetensors под лицензией, сведения о которой здесь не приведены.

Сценарии применения

выявление сексистских высказываний в англоязычных твитах
модерация сексистских публикаций в соцсетях
разметка твитов для анализа сексизма

Ограничения

Модель ориентирована на англоязычные твиты; точность на других жанрах текста и языках не установлена. README не описывает обучающие данные и подробности оценки.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bertweet-large-sexism-detector

This model is a fine-tuned version of NLP-LTU/bertweet-large-sexism-detector on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.9648
Icm: 0.2479
Icmnorm: 0.6258
Fmeasure: 0.7526

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
distributed_type: multi-GPU
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 10
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Icm	Icmnorm	Fmeasure
0.8774	1.0	771	1.1253	-0.1346	0.4317	0.5634
0.9551	2.0	1542	0.8275	0.1264	0.5641	0.7110
0.9559	3.0	2313	0.9648	0.2479	0.6258	0.7526
0.6926	4.0	3084	1.5632	0.1570	0.5797	0.7172
0.4547	5.0	3855	1.8028	0.1284	0.5652	0.7098
0.2611	6.0	4626	1.9528	0.2025	0.6027	0.7359
0.1528	7.0	5397	2.1400	0.1119	0.5568	0.7073
0.1173	8.0	6168	2.1909	0.1524	0.5773	0.7195
0.1096	9.0	6939	2.4630	0.1166	0.5591	0.7073
0.0535	10.0	7710	2.4917	0.1809	0.5918	0.7276

Framework versions

Transformers 4.38.2
Pytorch 2.3.0+cu121
Datasets 2.18.0
Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForSequenceClassification
Ревизия весов: 5c0ad14