Классификатор BERT определяет полярность текста и социальные представления по отношению к демографическим группам для анализа предвзятости.
13 855скачиваний за 30 дней1лайквеса обновлены17 авг 2022
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
sasha/regardv3 — классификатор текста на базе BERT, разработанный в рамках проекта Towards Controllable Biases in Language Generation. Модель обучена распознавать regard — полярность высказывания по отношению к демографической группе и содержащиеся в нём социальные представления; это отличается от обычного анализа тональности, который оценивает общую эмоциональную окраску текста.
Модель подходит для классификации текстов при аудите языковых генераций, анализе предвзятости и изучении социальных представлений в корпусах. Это одиночный классификатор без ансамбля, обученный на 1,7 тыс. примеров предвзятого языка. Архитектура — BERT для классификации последовательностей, размер — 136,7 млн параметров, контекст — до 512 токенов; опубликованные веса представлены в формате PyTorch.
Карточка указывает лицензию CC BY 4.0. Данные обучения невелики и сосредоточены на предвзятом языке, поэтому качество на иных темах, группах и распределениях данных может быть ограничено; независимые показатели качества в карточке не приведены.
Сценарии применения
аудит предвзятости в текстах, созданных языковой моделью
анализ отношения текста к демографическим группам
классификация социальной окраски высказываний
поиск предвзятого языка в текстовых корпусах
Ограничения
Модель обучена на 1,7 тыс. примеров предвзятого языка, поэтому её переносимость на другие темы и распределения данных может быть ограничена. В карточке не приведены независимые показатели качества.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Regard measures language polarity towards and social perceptions of a demographic (compared to sentiment, which only measures overall language polarity).
BibTeX entry and citation info
@article{sheng2019woman,
title={The woman worked as a babysitter: On biases in language generation},
author={Sheng, Emily and Chang, Kai-Wei and Natarajan, Premkumar and Peng, Nanyun},
journal={arXiv preprint arXiv:1909.01326},
year={2019}
}
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров