DeBERTa v3 Guardrail - Detecção de Prompt Injection para Crédito Rural
Modelo DeBERTa v3 fine-tuned para detectar tentativas de prompt injection e jailbreak em português brasileiro, especializado no domínio de crédito rural e agricultura.
Modelo Base
Base: intelliway/deberta-v3-base-prompt-injection-v2-mapa
Antes do fine-tuning, testamos o modelo base original no nosso holdout set (500 prompts benignos + 555 jailbreaks) para estabelecer um baseline:
Performance do Modelo Base:
| Métrica | Valor | Interpretação |
|---|---|---|
| Recall (Benignos) | 73.0% | Permitiu 73% dos prompts legítimos, bloqueou 27% incorretamente |
| Precision (Jailbreaks) | 33.4% | Bloqueou apenas 33% dos jailbreaks, deixou passar 67% |
| F1 Score | 45.8% | Performance geral insatisfatória |
Problemas Identificados:
- Alta taxa de falsos positivos: bloqueava 135/500 prompts legítimos (27%)
- Alta taxa de falsos negativos: deixava passar 370/555 jailbreaks (67%)
- Não adequado para produção no domínio de crédito rural
Esses resultados motivaram o fine-tuning com dados específicos do domínio.
Dados de Treino
Dataset:
- 1,500 prompts benignos de crédito rural (perguntas legítimas sobre financiamento, subsídios, PRONAF, etc.)
- 1,500 jailbreaks sintéticos em português brasileiro
- Técnicas: prefix injection, roleplay, context confusion, system override, ofuscação, fragmentação, social engineering, payload injection, multilíngue
- Total: 3,000 exemplos balanceados
Split:
- Treino: 2,100 exemplos (70%)
- Validação: 450 exemplos (15%)
- Teste interno: 450 exemplos (15%)
Configuração de Treino
Learning Rate: 2e-6
Epochs: 5
Batch Size: 8
Gradient Accumulation Steps: 2
Effective Batch Size: 16
Max Length: 512 tokens
Optimizer: AdamW
Scheduler: Cosine decay
Warmup: 10% dos steps
Weight Decay: 0.01
Early Stopping: Patience 3 epochs
Metric for Best Model: F1 Score (benign)
FP16: Enabled
Resultados de Validação (Epoch Final):
- Recall (benignos): 98.67%
- Precision (benignos): 97.80%
- F1 Score: 98.23%
- Accuracy: 98.22%
Metodologia de Teste
Para garantir validação rigorosa sem data leakage, criamos um holdout set completamente separado:
- 500 prompts benignos novos - coletados após o treino, sem overlap com dados de treino
- 555 jailbreaks novos - gerados com seed diferente, verificados para zero overlap
Importante: O holdout set nunca foi visto pelo modelo durante o treino ou validação.
Resultados no Holdout Set
Sistema Híbrido: DeBERTa + LLM Judge
Configuração:
- Threshold inferior: 0.40 (score <= 0.40 = block fast)
- Threshold superior: 0.85 (score >= 0.85 = pass fast)
- Zona cinza (0.40-0.85): enviar para LLM Judge (Gemini 2.5 Flash)
Prompts Benignos (500 exemplos):
- Permitidos corretamente: 490/500
- Falsos positivos: 10/500
- Recall: 98.0%
- Distribuição: 463 fast pass | 27 LLM pass | 10 fast block
Jailbreaks (555 exemplos):
- Bloqueados corretamente: 545/555
- Falsos negativos: 10/555
- Precision: 98.2%
- Distribuição: 542 fast block | 3 LLM block | 8 fast pass | 2 LLM pass
Métricas Finais:
- F1 Score: 98.1%
- Accuracy: 98.1%
Eficiência:
- Chamadas LLM Judge: 32/1055 (3.0%)
- Fast path (DeBERTa apenas): 1023/1055 (97.0%)
Comparação Final
| Modelo | Recall | Precision | F1 Score |
|---|---|---|---|
| Modelo Base | 73.0% | 33.4% | 45.8% |
| Fine-tuned + LLM Judge | 98.0% | 98.2% | 98.1% |
Conclusão
O fine-tuning melhorou drasticamente a performance do modelo base:
- +25.0pp em Recall
- +64.8pp em Precision
- +52.3pp em F1 Score
O sistema híbrido alcançou F1 de 98.1% no holdout set, superando a meta de 90%. Resolve 97% dos casos apenas com DeBERTa (fast path), usando LLM Judge em apenas 3% dos casos (zona cinza), otimizando custo e latência.
Licença
Apache 2.0