/ Модель

Характеристики

Контекст
512 токенов
Параметры
136 млн
Лицензия
Apache 2.0
Архитектура
bert · dense

en-base

Разметка токеновТекст → label3 профессии

Англоязычная модель BERT для выделения токсичных и оскорбительных фрагментов в текстах социальных сетей.

152скачиваний за 30 дней1лайквеса обновлены20 мая 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MUDES en-base — англоязычная модель семейства BERT для обнаружения токсичных фрагментов в текстах социальных сетей. Она представлена авторами системы MUDES (Multilingual Detection of Offensive Spans) и оценивалась на задаче Toxic Spans соревнования SemEval 2021, Task 5.

Модель выполняет классификацию на уровне токенов и предназначена для выделения оскорбительных или токсичных фрагментов текста. Она содержит 135,5 млн параметров, использует контекст до 512 токенов и доступна в форматах PyTorch и Flax. Лицензия — Apache-2.0.

Модель ориентирована на английские тексты и сообщения из социальных сетей. Карточка указывает на экспериментальную демонстрацию MUDES-UI; качество обнаружения может зависеть от языка, тематики и стиля текста, а оценка проводилась в рамках конкретного бенчмарка.

Сценарии применения

  • выделение токсичных фрагментов в постах и комментариях
  • поиск оскорбительных выражений в сообщениях
  • разметка текстов социальных сетей для модерации
  • подготовка корпусов токсичных фрагментов для анализа

Ограничения

Модель рассчитана на английский язык и контекст до 512 токенов. Её оценивали на задаче Toxic Spans SemEval 2021, поэтому качество на других языках и типах текстов может отличаться.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MUDES - {Mu}ltilingual {De}tection of Offensive {S}pans

We provide state-of-the-art models to detect toxic spans in social media texts. We introduce our framework in this paper. We have evaluated our models on Toxic Spans task at SemEval 2021 (Task 5). Our participation in the task is detailed in this paper.

Usage

You can use this model when you have MUDES installed:

pip install mudes

Then you can use the model like this:

from mudes.app.mudes_app import MUDESApp

app = MUDESApp("en-base", use_cuda=False)
print(app.predict_toxic_spans("You motherfucking cunt", spans=True))

System Demonstration

An experimental demonstration interface called MUDES-UI has been released on GitHub and can be checked out in here.

Citing & Authors

If you find this model helpful, feel free to cite our publications

@inproceedings{ranasinghemudes,
 title={{MUDES: Multilingual Detection of Offensive Spans}}, 
 author={Tharindu Ranasinghe and Marcos Zampieri},  
 booktitle={Proceedings of NAACL},
 year={2021}
}
@inproceedings{ranasinghe2021semeval,
  title={{WLV-RIT at SemEval-2021 Task 5: A Neural Transformer Framework for Detecting Toxic Spans}},
  author = {Ranasinghe, Tharindu  and Sarkar, Diptanu and Zampieri, Marcos and Ororbia, Alex},
  booktitle={Proceedings of SemEval},
  year={2021}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForTokenClassification
Ревизия весов
1600298

0 моделей