/ Модель

Характеристики

Контекст
514 токенов
Параметры
659 млн
Лицензия
OpenRAIL++
Архитектура
xlm-roberta · dense
Базовая модель
xlm-roberta-large
Библиотека
transformers
Опубликована
19 мар 2025

xlmr-large-toxicity-classifier-v2

Классификация текстаТекст → label3 профессии

Мультиязычная модель TextDetox определяет, является ли текст токсичным, для автоматической модерации на 15 языках.

3 852скачиваний за 30 дней14лайковвеса обновлены8 дек 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Мультиязычный классификатор токсичности текста от TextDetox, созданный дообучением XLM-RoBERTa large на бинарной задаче классификации токсичности с использованием обновлённого датасета textdetox/multilingual_toxicity_dataset. Модель предназначена для автоматической проверки текстов и определения, относятся ли они к токсичным.

Классификатор охватывает 15 языков. В карточке приведены оценки F1 0,9225 для английского, 0,9525 для русского и 0,96 для украинского. Модель имеет 658,7 млн параметров, принимает последовательности длиной до 514 токенов и распространяется в формате Safetensors. Для использования требуется библиотека Transformers; лицензия — OpenRAIL++.

Классификация бинарная и не объясняет причину присвоенной метки. Приведённые оценки относятся только к указанным языкам и могут не отражать качество на других текстах и доменах; автоматическую метку следует проверять в контексте предполагаемого применения.

Сценарии применения

  • проверка пользовательских комментариев на токсичность
  • фильтрация токсичных сообщений в чатах
  • первичная сортировка публикаций для модерации
  • мониторинг токсичности текстов на нескольких языках

Ограничения

Модель выдаёт бинарную классификацию и не объясняет, какие фрагменты текста привели к метке. Приведённые в README оценки F1 охватывают только английский, русский и украинский языки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Multilingual Toxicity Classifier for 15 Languages (2025)

This is an instance of xlm-roberta-large that was fine-tuned on binary toxicity classification task based on our updated (2025) dataset textdetox/multilingual_toxicity_dataset.

Now, the models covers 15 languages from various language families:

LanguageCodeF1 Score
Englishen0.9225
Russianru0.9525
Ukrainianuk0.96
Germande0.7325
Spanishes0.7125
Arabicar0.6625
Amharicam0.5575
Hindihi0.9725
Chinesezh0.9175
Italianit0.5864
Frenchfr0.9235
Hinglishhin0.61
Hebrewhe0.8775
Japaneseja0.8773
Tatartt0.5744

How to use

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained('textdetox/xlmr-large-toxicity-classifier-v2')
model = AutoModelForSequenceClassification.from_pretrained('textdetox/xlmr-large-toxicity-classifier-v2')

batch = tokenizer.encode("You are amazing!", return_tensors="pt")

output = model(batch)
# idx 0 for neutral, idx 1 for toxic

Citation

The model is prepared for TextDetox 2025 Shared Task evaluation.

@inproceedings{dementieva2025overview,
  title={Overview of the Multilingual Text Detoxification Task at PAN 2025},
  author={Dementieva, Daryna and
      Protasov, Vitaly and
      Babakov, Nikolay and
      Rizwan, Naquee and
      Alimova, Ilseyar and
      Brune, Caroline and
      Konovalov, Vasily and
      Muti, Arianna and
      Liebeskind, Chaya and
      Litvak, Marina and
      Nozza, Debora, and
      Shah Khan, Shehryaar and
      Takeshita, Sotaro and
      Vanetik, Natalia and
      Ayele, Abinew Ali and
      Schneider, Frolian and
      Wang, Xintog and
      Yimam, Seid Muhie and
      Elnagar, Ashraf and
      Mukherjee, Animesh and
      Panchenko, Alexander},
    booktitle={Working Notes of CLEF 2025 -- Conference and Labs of the Evaluation Forum},
    editor={Guglielmo Faggioli and Nicola Ferro and Paolo Rosso and Damiano Spina},
    month =                    sep,
    publisher =                {CEUR-WS.org},
    series =                   {CEUR Workshop Proceedings},
    site =                     {Vienna, Austria},
    url =                      {https://ceur-ws.org/Vol-4038/paper_278.pdf},
    year =                     2025
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
XLMRobertaForSequenceClassification
Ревизия весов
cde9d07

0 моделей