Дообученная XLM-RoBERTa-Large для выявления токсичных и оскорбительных арабских комментариев с заявленной поддержкой классификации текстов на других языках.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
akhooli/xlm-r-large-arabic-toxic — модель классификации текста, разработанная на основе XLM-RoBERTa-Large и дообученная для выявления токсичных и оскорбительных высказываний в комментариях на арабском языке. Она относит текст к одному из двух классов: нетоксичный или токсичный.
Модель предназначена для модерации комментариев и первичной фильтрации потенциально токсичных сообщений. В README также заявлена возможность классификации без дополнительного обучения для других языков и смешанных арабско-английских текстов. Архитектура — XLM-RoBERTa для классификации последовательностей, размер — 658,7 млн параметров, максимальная длина контекста — 514 токенов.
Модель распространяется в формате PyTorch по лицензии MIT. Качество классификации для языков помимо арабского и смешанных текстов отдельно не охарактеризовано; результаты следует проверять на целевых данных.
Основная задача модели — классификация токсичности арабских комментариев; заявленная работа с другими языками и смешанными текстами не сопровождается оценками качества. Максимальная длина контекста составляет 514 токенов.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Note (Oct. , 2024): a new model based on few shot learning is available. See this Linkedin post
This model:
Toxic (hate speech) classification (Label_0: non-toxic, Label_1: toxic) of Arabic comments by fine-tuning XLM-Roberta-Large.
Zero shot classification of other languages (also works in mixed languages - ex. Arabic & English).
Usage and further info: see last section in this Colab notebook
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · text-classification
Подбираем GPU…