/ Модель

Характеристики

Контекст
512 токенов
Архитектура
distilbert · dense
Опубликована
16 янв 2023

gibberish-text-detector

Классификация текстаТекст → label4 профессии

Модель на основе DistilBERT классифицирует английский текст, помогая выявлять бессмысленные или связные фрагменты.

17 345скачиваний за 30 дней6лайковвеса обновлены7 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

wajidlinux99/gibberish-text-detector — модель классификации текста, дообученная с помощью AutoNLP на задачу обнаружения бессмысленного или связного текста. Она принимает текст и относит его к одному из нескольких классов; конкретные названия классов в карточке не приведены. По метаданным, модель основана на DistilBERT и использует классификационную архитектуру DistilBertForSequenceClassification.

Контекст ограничен 512 токенами, формат весов — PyTorch, основной язык карточки — английский. В README сообщается о точности 97,36% и macro F1 97,36% на валидационной выборке; эти показатели относятся к указанному набору данных и не гарантируют такое же качество на других текстах. Модель может применяться для фильтрации бессмысленных текстовых вводов и предварительной проверки качества текста.

Репозиторий указывает на исходную модель AutoNLP madhurjindal/autonlp-Gibberish-Detector-492513457. Лицензия в предоставленных данных не указана.

Сценарии применения

  • фильтрация бессмысленных пользовательских сообщений
  • проверка связности коротких английских фраз
  • отсев некорректного текста перед дальнейшей обработкой

Ограничения

Карточка не раскрывает названия классов и состав обучающих данных, поэтому область применимости метрик валидации ограничена. Контекст модели составляет 512 токенов; лицензия в предоставленных данных не указана.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Trained Using AutoNLP

  • Problem type: Multi-class Classification
  • Model ID: 492513457
  • CO2 Emissions (in grams): 5.527544460835904

Validation Metrics

  • Loss: 0.07609463483095169
  • Accuracy: 0.9735624586913417
  • Macro F1: 0.9736173135739408
  • Micro F1: 0.9735624586913417
  • Weighted F1: 0.9736173135739408
  • Macro Precision: 0.9737771415197378
  • Micro Precision: 0.9735624586913417
  • Weighted Precision: 0.9737771415197378
  • Macro Recall: 0.9735624586913417
  • Micro Recall: 0.9735624586913417
  • Weighted Recall: 0.9735624586913417

Usage

You can use CURL to access this model:

$ curl -X POST -H "Authorization: Bearer YOUR_API_KEY" -H "Content-Type: application/json" -d '{"inputs": "Is this text really worth it?"}' https://api-inference.huggingface.co/models/wajidlinux99/gibberish-text-detector

Or Python API:

from transformers import AutoModelForSequenceClassification, AutoTokenizer

model = AutoModelForSequenceClassification.from_pretrained("wajidlinux99/gibberish-text-detector", use_auth_token=True)

tokenizer = AutoTokenizer.from_pretrained("wajidlinux99/gibberish-text-detector", use_auth_token=True)

inputs = tokenizer("Is this text really worth it?", return_tensors="pt")

outputs = model(**inputs)

Original Repository

***madhurjindal/autonlp-Gibberish-Detector-492513457

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
DistilBertForSequenceClassification
Ревизия весов
81168d3

0 моделей