/ Модель

Характеристики

Контекст
512 токенов
Лицензия
Apache 2.0
Архитектура
distilbert · dense
Базовая модель
distilbert-base-uncased
Библиотека
transformers
Опубликована
11 мар 2024

pardonmyai

Классификация текстаТекст → label3 профессии

Дообученная англоязычная DistilBERT-модель классифицирует текст и выявляет ненормативную лексику для автоматической фильтрации и модерации.

5 631скачиваний за 30 дней4лайкавеса обновлены16 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

tarekziade/pardonmyai — дообученная модель DistilBERT для выявления ненормативной лексики в тексте. Она классифицирует текстовые фрагменты и подходит для фильтрации сообщений и предварительной модерации пользовательского контента. Модель основана на distilbert/distilbert-base-uncased и обучена на наборе данных tarekziade/profanity. Доступны веса в форматах Safetensors и ONNX; модель использует библиотеку Transformers и принимает последовательности длиной до 512 токенов.

В карточке приведены метрики на использованной оценке: accuracy 0,9748, precision 0,9331, recall 0,9416, F1 0,9373 и AUC-ROC 0,9955. Это англоязычная базовая модель, поэтому её применимость к другим языкам не подтверждена. Лицензия — Apache-2.0.

Сценарии применения

  • выявление ненормативной лексики в сообщениях
  • фильтрация комментариев и пользовательских публикаций
  • предварительная модерация англоязычных текстов

Ограничения

Поддержка языков, кроме английского, не подтверждена. Приведённые метрики относятся к оценке автора и не гарантируют такое же качество на данных конкретного применения.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Fine-tuned model that detects profanity in text.

Inspired from https://victorzhou.com/blog/better-profanity-detection-with-scikit-learn/

The model was trained with the dataset from that project.

Usage example with Python:

from transformers import pipeline

classifier = pipeline("sentiment-analysis", model="tarekziade/pardonmyai")

print(classifier("These are beautiful flowers"))

Usage example with Transformers.js:

import { pipeline } from '@xenova/transformers';

let pipe = await pipeline('sentiment-analysis', model='tarekziade/pardonmyai');

let out = await pipe('These are beautiful flowers');

Source code and data: https://github.com/tarekziade/pardonmyai

metrics:

  • Accuracy: 0.9748
  • Precision: 0.9331
  • Recall: 0.9416
  • F1 Score: 0.9373
  • AUC-ROC: 0.9955

There's a tiny version available: https://huggingface.co/tarekziade/pardonmyai-tiny

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
DistilBertForSequenceClassification
Ревизия весов
ab8a02a

0 моделей