Классификатор токсичности русскоязычных сообщений
Дообученная модель для бинарной классификации токсичности сообщений в службе поддержки (0 — нетоксично, 1 — токсично).
Задача
Определение токсичных сообщений пользователей для автоматической модерации обращений в поддержку.
Метрики
| Метрика | Значение |
|---|---|
| False Positives | 23 |
| False Negatives | 25 |
| Время инференса (GPU, Tesla T4) | ~0.020 сек |
| Время инференса (CPU) | ~0.435 сек |
| Ускорение GPU vs CPU | 22x |
Пример использования
from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch
repo_id = "ваш_username/rubert-toxicity-classifier"
tokenizer = AutoTokenizer.from_pretrained(repo_id)
model = AutoModelForSequenceClassification.from_pretrained(repo_id)
text = "Вы что, совсем тупой? Я же уже объяснял!"
inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=128)
with torch.no_grad():
probs = torch.softmax(model(**inputs).logits, dim=-1)
print(f"Вероятность токсичности: {probs[0][1].item():.4f}")