Дообученная многоязычная модель классифицирует текст, чтобы выявлять промпт-инъекции и попытки обхода инструкций.
3 251скачиваний за 30 дней3лайкавеса обновлены24 апр 2025
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Модель proventra/mdeberta-v3-base-prompt-injection разработана Proventra и представляет собой дообученную для классификации текста модель microsoft/mdeberta-v3-base на архитектуре DeBERTa V3. Она предназначена для обнаружения промпт-инъекций и попыток обхода инструкций, в том числе атак, встроенных в обычный текст веб-сайтов и статей. Модель содержит около 306 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт метки классификации.
В обучении использовались наборы jailbreak-classification и prompt-injections, а также собственные примеры известных атак и инъекций в легитимном содержимом. Модель распространяется по лицензии MIT. Ограничение длины контекста составляет 512 токенов; качество зависит от того, насколько входные атаки похожи на обучающие примеры.
Сценарии применения
проверка пользовательского ввода на промпт-инъекции
обнаружение попыток jailbreak в сообщениях
поиск вредоносных инструкций во внешнем веб-контенте
проверка статей и сайтов перед передачей текста LLM
классификация текста для систем безопасности LLM
Ограничения
Контекст модели ограничен 512 токенами. Точность на новых или замаскированных типах атак зависит от их представленности в обучающих данных.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
from transformers import pipeline
classifier = pipeline(
"text-classification",
model="proventra/mdeberta-v3-base-prompt-injection"
)
print(classifier("Your text to scan"))