Дообученный на Kaggle Toxic Comments классификатор DistilRoBERTa выявляет токсичность и связанные категории в комментариях.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель jpcorb20/toxic-detector-distilroberta — классификатор комментариев на токсичность, дообученный автором на базе DistilRoBERTa на наборе Kaggle Toxic Comments. Архитектура RoBERTa с примерно 95,2 млн параметров; модель принимает текст и предсказывает несколько меток одновременно: toxic, severe_toxic, obscene, threat, insult и identity_hate. Для интерпретации выходных логитов следует применять сигмоиду по каждой метке, а не softmax.
Модель предназначена для выявления токсичных комментариев и отдельных видов оскорбительного содержания при модерации пользовательского текста. В README приведены F1-оценки: 0,72 для toxic и obscene, 0,69 для insult, 0,60 для identity_hate, 0,52 для threat и 0,38 для severe_toxic; Macro-F1 составляет 0,61. Контекст — до 514 токенов. Лицензия в предоставленных данных не указана.
F1 для severe_toxic равен 0,38, а для threat — 0,52, поэтому качество по этим категориям ограничено. Модель обучена на Kaggle Toxic Comments; README не подтверждает её пригодность для других языков и доменов.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
See my GitHub repo toxic-comment-server
The model was trained from DistilRoberta on Kaggle Toxic Comments with the BCEWithLogits loss for Multi-Label prediction. Thus, please use the sigmoid activation on the logits (not made to use the softmax output, e.g. like the HF widget).
F1 scores:
toxic: 0.72
severe_toxic: 0.38
obscene: 0.72
threat: 0.52
insult: 0.69
identity_hate: 0.60
Macro-F1: 0.61
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · text-classification
Подбираем GPU…