Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Лицензия: MIT
Архитектура: bert · dense
Базовая модель: bert-base-uncased
Библиотека: transformers
Опубликована: 6 окт 2024

Ссылки

Hugging Face arXiv 2410.08388

bias-type-classifier

maximuspowers

Классификация текстаТекст → label3 профессии

Англоязычный классификатор на базе BERT для определения типа предвзятости в тексте.

192скачиваний за 30 дней2лайкавеса обновлены29 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

maximuspowers/bias-type-classifier — англоязычный классификатор текстов, разработанный Maximuspowers и дообученный на базе google-bert/bert-base-uncased. Модель использует архитектуру BERT для классификации текста по типам предвзятости; среди меток указаны racial, religious и physical. Для одного текста возвращает метку и оценку, а параметр return_all_scores=True позволяет получить оценки по всем меткам.

В README приведены средние F1 0,8998, точность 0,9213 и полнота 0,8807, а также результаты по отдельным категориям. Модель рассчитана на англоязычный текст, имеет контекст до 512 токенов и содержит 136,7 млн параметров. Обучена на датасете ethical-spectacle/biased-corpus; указана лицензия MIT. Качество на других данных и категориях предвзятости может отличаться от приведённых метрик.

Сценарии применения

определение расовой предвзятости в высказываниях
выявление религиозной предвзятости в тексте
классификация физических стереотипов и предубеждений
первичная разметка текстов для анализа предвзятости

Ограничения

Метрики приведены для обучающего корпуса и могут не отражать качество на других данных. Модель ориентирована на английский язык и ограничена контекстом в 512 токенов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

How to Use

classifier = pipeline("text-classification", model="maximuspowers/bias-type-classifier") // pass in return_all_scores=True for multi-label
result = classifier("Tall people are so clumsy")

// Example Result
// [
//    {
//     "label": "physical",
//     "score": 0.9972801208496094
//    }
// ]

This model was trained on a synthetic dataset of biased statements and questions, generated by Mistal 7B as part of the GUS-Net paper.

Model Performance:

Label	F1 Score	Precision	Recall
Macro Average	0.8998	0.9213	0.8807
racial	0.8613	0.9262	0.8049
religious	0.9655	0.9716	0.9595
gender	0.9160	0.9099	0.9223
age	0.9185	0.9683	0.8737
nationality	0.9083	0.9053	0.9113
sexuality	0.9304	0.9484	0.9131
socioeconomic	0.8273	0.8727	0.7864
educational	0.8791	0.9091	0.8511
disability	0.8713	0.8762	0.8665
political	0.9127	0.8914	0.9351
physical	0.9069	0.9547	0.8635

Training Params:

Learning Rate: 5e-5 Batch Size: 16 Epochs: 3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: 3bd1ef5