Характеристики

Контекст: 512 токенов
Параметры: 212 млн
Архитектура: bert · dense

Ссылки

Hugging Face

off_detection_turkish

hemekci

Классификация текстаТекст → label4 профессии

Дообученный BERT-классификатор определяет оскорбительный контент в турецких текстах, включая публикации в Twitter.

28скачиваний за 30 дней9лайковвеса обновлены19 мая 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель hemekci/off_detection_turkish — дообученный BERT-классификатор для выявления оскорбительной лексики в турецких текстах, разработанный на базе PyTorch. Она относит текст к классу оскорбительного или неоскорбительного содержания и предназначена, в частности, для анализа публикаций в социальных сетях. Модель дообучена на 31 277 предложениях из Twitter; архитектура — BertForSequenceClassification с 211,6 млн параметров и контекстом до 512 токенов. В README приведены результаты проверки: точность 0,90 и MCC 0,633.

Модель принимает текст на турецком языке и выдаёт метку класса. Репозиторий содержит веса PyTorch и Flax. Лицензия в предоставленных сведениях не указана.

Сценарии применения

Фильтрация оскорбительных твитов на турецком языке
Модерация турецких публикаций в социальных сетях
Разметка турецких текстов по наличию оскорблений

Ограничения

Проверка описана на данных, связанных с Twitter; качество на других типах текста может отличаться. Лицензия и ограничения использования в предоставленных материалах не описаны.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232модели IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Offensive Language Detection Model in Turkish

uses Bert and pytorch
fine tuned with Twitter data.
UTF-8 configuration is done

Training Data

Number of training sentences: 31,277

Example Tweets

19823 Daliaan yifng cok erken attin be... 1.38 ...| NOT|
30525 @USER Bak biri kollarımda uyuyup gitmem diyor..|NOT|
26468 Helal olsun be :) Norveçten sabaha karşı geldi aq... | OFF|
14105 @USER Sunu cekecek ve güzel oldugunu söylecek aptal... |OFF|
4958 Ya seni yerim ben şapşal şey 🤗 | NOT|
12966 Herkesin akıllı geçindiği bir sosyal medyamız var ... |NOT|
5788 Maçın özetlerini izleyenler futbolcular gidiyo... |NOT|

OFFENSIVE	RESULT
NOT	25231
OFF	6046
dtype: int64

Validation

epoch	Training Loss	Valid. Loss	Valid.Accuracy	Training Time	Validation Time
1	0.31	0.28	0.89	0:07:14	0:00:13
2	0.18	0.29	0.90	0:07:18	0:00:13
3	0.08	0.40	0.89	0:07:16	0:00:13
4	0.04	0.59	0.89	0:07:13	0:00:13

Matthews Corr. Coef. (-1 : +1): Total MCC Score: 0.633

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: e0a7c3d