text profanity detection in Hindi, Hinglish, and English.
Характеристики
- Контекст
- 512 токенов
- Архитектура
- distilbert · dense
- Опубликована
- 10 мая 2024
Ссылки
profanity_model2.0
Модель DistilBERT для обнаружения ненормативной лексики в текстах на хинди, хинглише и английском языке.
324скачиваний за 30 дней3лайкавеса обновлены23 июл 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
parsawar/profanity_model2.0 — модель классификации текста, опубликованная пользователем parsawar на Hugging Face. Она предназначена для обнаружения ненормативной лексики в текстах на Hindi, Hinglish и English.
Модель использует архитектуру DistilBERT и реализует задачу text classification. Согласно метаданным, она содержит около 67 млн параметров, работает с контекстом до 512 токенов и распространяется в формате Safetensors с типом тензоров F32. Для применения доступна через библиотеку Transformers.
Модель подходит для модерации пользовательского контента, фильтрации сообщений и предварительного выявления нецензурной лексики. В карточке модели не приведены подробные сведения о датасете, метриках качества и лицензии, поэтому точность на конкретных доменах и условия использования следует проверять отдельно.
Сценарии применения
- модерация сообщений в чатах
- фильтрация комментариев с ненормативной лексикой
- проверка пользовательского контента перед публикацией
- выявление брани в текстовых отзывах
Ограничения
В карточке модели не приведены подробные сведения о датасете и метриках качества, поэтому её точность для конкретных типов текстов и доменов может различаться.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232моделиII.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · text-classification
Подбираем GPU…
- Класс архитектуры
- DistilBertForSequenceClassification
- Ревизия весов
- 5897524