/ Модель

Характеристики

Контекст
514 токенов
Параметры
305 млн
Лицензия
Своя лицензия
Архитектура
xlm-roberta · dense
Опубликована
25 окт 2022

xlm_roberta_base_multilingual_toxicity_classifier_plus

Классификация текстаТекст → label3 профессии

Классификатор на основе XLM-RoBERTa определяет, является ли текст токсичным, на английском, русском, французском и немецком языках.

312скачиваний за 30 дней2лайкавеса обновлены2 мая 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

EIStakovskii/xlm_roberta_base_multilingual_toxicity_classifier_plus — модель классификации текста, разработанная на основе XLM-RoBERTa Base и дообученная для выявления токсичности. Она присваивает тексту одну из двух меток: Label_1 — токсичный, Label_0 — нетоксичный. Модель предназначена для проверки пользовательских сообщений и другого текста на английском, русском, французском и немецком языках.

Модель использует архитектуру XLMRobertaForSequenceClassification, содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. В карточке указана точность 92% на валидации. Обучающие данные включали тексты на четырёх языках, в том числе переводы и собранные вручную примеры; подробности описания набора данных в README частично неполны. Весовые файлы доступны в форматах PyTorch и safetensors. Лицензия обозначена как other, поэтому конкретные условия использования следует сверить с репозиторием.

Сценарии применения

  • проверка комментариев на токсичность
  • модерация сообщений в чате
  • фильтрация оскорбительных публикаций
  • предварительная разметка текстов для модерации

Ограничения

Указанные 92% точности относятся к валидации; README не уточняет состав и методику этой оценки. Результаты могут зависеть от языка и контекста, а лицензия «other» требует проверки условий использования.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This model was trained for multilingual toxicity labeling. Label_1 means TOXIC, Label_0 means NOT TOXIC.

The model was fine-tuned based off the xlm_roberta_base model for 4 languages: EN, RU, FR, DE

The validation accuracy is 92%.

The model was finetuned on the total sum of 100933k sentences. The train data for English and Russian came from https://github.com/s-nlp/multilingual_detox, French data comprised the translated to French data from https://github.com/s-nlp/multilingual_detox as well as all the French data from the Jigsaw dataset, the German data was similarly composed using translations and semi-manual data collection techniquies, in particular for offensive words and phrases were crawled the dict.cc dictionary (https://www.dict.cc/) and the Reverso Context (https://context.reverso.net/translation/).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
XLMRobertaForSequenceClassification
Ревизия весов
0126552

0 моделей