PromptShield — дообученная модель DistilBERT, созданная Сохамом Дахивалкаром для обнаружения атак с внедрением промптов в приложениях на основе больших языковых моделей. Она классифицирует текст как безопасный или содержащий атаку и предназначена для проверки пользовательских запросов, извлечённых документов и другого текста перед передачей LLM.

Модель основана на distilbert/distilbert-base-uncased, использует архитектуру DistilBertForSequenceClassification и принимает текстовые последовательности длиной до 512 токенов. В карточке заявлено обнаружение переопределения инструкций, имитации ролей и jailbreak-попыток, извлечения системного промпта, инъекций разделителей, социальной инженерии, обфускации, манипуляции контекстом и попыток эксфильтрации данных. Карточка указывает английский язык и датасет Shomi28/prompt-injection-dataset.

PromptShield подходит как компонент фильтрации в конвейере безопасности LLM, но результат классификации следует рассматривать как сигнал для последующей проверки: карточка не приводит оценок качества и не подтверждает полноту обнаружения всех вариантов атак. Модель распространяется по лицензии MIT.