/ Модель

Характеристики

Контекст
512 токенов
Параметры
212 млн
Лицензия
MIT
Архитектура
bert · dense
Опубликована
13 авг 2022

bert-base-turkish-bullying

Классификация текстаТекст → label3 профессии

Турецкий классификатор на базе BERT определяет нейтральные сообщения, провокации и оскорбления, сексизм и расизм в публикациях соцсетей.

51скачиваний за 30 дней8лайковвеса обновлены23 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

nanelimon/bert-base-turkish-bullying — модель на основе BERT, созданная Şeyma Sarıgil, Elif Sarıgil Kara, Murat Koklu и Alaaddin Erdinç Dal для определения видов травли в публикациях турецких социальных сетей. Она относит текст к одному из четырёх классов: нейтральное сообщение, провокация или оскорбление, сексизм и расизм; подходит для автоматической разметки и анализа постов и твитов.

Модель построена на архитектуре BERT и содержит 211,6 млн параметров. Она обучалась на 3388 твитах из турецкого набора данных для выявления оскорбительного содержания. В README приведены accuracy 0,886 и метрики precision, recall и F1 по классам. Контекст ограничен 512 токенами; лицензия — MIT.

Это специализированный классификатор турецких сообщений, поэтому результаты могут быть ненадёжны для других языков и жанров текста. Небольшой объём обучающих данных также ограничивает переносимость метрик на реальные потоки публикаций; в примере README модель загружается в TensorFlow из весов PyTorch.

Сценарии применения

  • выявление оскорблений и провокаций в турецких постах
  • обнаружение сексистских сообщений в соцсетях
  • обнаружение расистских публикаций на турецком языке
  • автоматическая разметка турецких твитов по типу травли

Ограничения

Модель рассчитана на турецкие сообщения и обучалась всего на 3388 твитах, поэтому её качество на других языках, площадках и типах текста не подтверждено. Указанные метрики получены при обучении и могут не отражать качество на новых данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

About the model

It is a Turkish bert-based model created to determine the types of bullying that people use against each other in social media. Included classes;

  • Nötr
  • Kızdırma/Hakaret
  • Cinsiyetçilik
  • Irkçılık

3388 tweets were used in the training of the model. Accordingly, the success rates in education are as follows;

CinsiyetçilikIrkçılıkKızdırmaNötr
Precision0.9250.8780.8240.915
Recall0.8310.8960.8430.935
F1 Score0.8750.8870.8330.925
Accuracy : 0.886

Dependency

pip install torch torchvision torchaudio pip install tf-keras
pip install transformers
pip install tensorflow

Example

from transformers import AutoTokenizer, TextClassificationPipeline, TFBertForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("nanelimon/bert-base-turkish-bullying")
model = TFBertForSequenceClassification.from_pretrained("nanelimon/bert-base-turkish-bullying", from_pt=True)
pipe = TextClassificationPipeline(model=model, tokenizer=tokenizer, return_all_scores=True, top_k=2)

print(pipe('Bu bir denemedir hadi sende dene!'))

Result;

[[{'label': 'Nötr', 'score': 0.999175488948822}, {'label': 'Cinsiyetçi Zorbalık', 'score': 0.00042115405085496604}]]
  • label= It shows which class the sent Turkish text belongs to according to the model.
  • score= It shows the compliance rate of the Turkish text sent to the label found.

Authors

License

gpl-3.0

Free Software, Hell Yeah!

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
1e2cffe

0 моделей