/ Модель

Характеристики

Контекст
512 токенов
Параметры
195 млн
Лицензия
Apache 2.0
Архитектура
bert · dense

dehatebert-mono-italian

Классификация текстаТекст → label3 профессии

BERT-классификатор для выявления языка ненависти в итальянских текстах.

59скачиваний за 30 дней0лайковвеса обновлены25 сен 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель Hate-speech-CNERG/dehatebert-mono-italian предназначена для выявления языка ненависти в текстах на итальянском языке. Это дообученная модель семейства BERT для классификации последовательностей; размер составляет 194,6 млн параметров, максимальная длина контекста — 512 токенов. В карточке указаны реализации PyTorch и Flax.

Модель создана в рамках исследования по обнаружению языка ненависти в многоязычных данных. Авторы сообщают о лучшем результате на валидации 0,837288 при learning rate 3e-5. Название mono обозначает монолингвальную настройку; README также описывает обучение только на английских данных, что не согласуется с заявленным назначением для итальянского языка и требует осторожности при оценке применимости. Лицензия — Apache-2.0.

Сценарии применения

  • первичная фильтрация итальянских публикаций на предмет языка ненависти
  • анализ комментариев на итальянском языке для модерации
  • разметка итальянских текстов для последующего анализа токсичности

Ограничения

README содержит противоречивое описание языка обучения: модель заявлена для итальянского, но сказано, что использовались только английские данные. Приведённый показатель 0,837288 относится к валидации; методика и набор данных в карточке не уточнены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This model is used detecting hatespeech in Italian language. The mono in the name refers to the monolingual setting, where the model is trained using only English language data. It is finetuned on multilingual bert model. The model is trained with different learning rates and the best validation score achieved is 0.837288 for a learning rate of 3e-5. Training code can be found at this url

For more details about our paper

Sai Saketh Aluru, Binny Mathew, Punyajoy Saha and Animesh Mukherjee. "Deep Learning Models for Multilingual Hate Speech Detection". Accepted at ECML-PKDD 2020.

Please cite our paper in any published work that uses any of these resources.

@article{aluru2020deep,
  title={Deep Learning Models for Multilingual Hate Speech Detection},
  author={Aluru, Sai Saket and Mathew, Binny and Saha, Punyajoy and Mukherjee, Animesh},
  journal={arXiv preprint arXiv:2004.06465},
  year={2020}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
aeb70b4

0 моделей