Vigilante.AI — PPE Detection (YOLOv8s)
Detector YOLOv8s treinado especificamente para o Vigilante.AI, plataforma de monitoramento em tempo real de uso de Equipamentos de Proteção Individual (EPI) em canteiros de obra e ambientes industriais.
Detecta o EPI e a violação em streams RTSP, webcams e imagens. Roda em produção como parte do stack do Vigilante.AI alimentando um painel multi-tenant de compliance.
Architecture: YOLOv8s-P2 (Ultralytics) fine-tuned from COCO weights. A cabeça extra de stride 4 existe porque um capacete em câmera de obra ocupa 10-25 px: em stride 8 uma caixa de 12 px cobre ~1.5x1.5 células e quase não recebe âncoras.
Por que a violação é uma classe, e não uma inferência
A versão anterior deste modelo tinha 2 classes e derivava a violação da ausência de detecção: nenhuma caixa de capacete sobre a cabeça implicava "capacete ausente". Medido em 2.808 frames de 10 obras reais onde todos os trabalhadores usavam EPI (portanto toda acusação é erro por construção), esse esquema errava de 26% a 96% conforme o portão de detecção abria. Cada falha de detecção virava acusação contra alguém em conformidade.
As classes 2 e 3 substituem esse palpite por evidência: uma cabeça descoberta precisa ser vista. Na mesma footage, com os pesos deste card, a acusação por detecção direta errou 0 de 641.
Classes
| id | name | description |
|---|---|---|
| 0 | helmet | Capacete de segurança |
| 1 | vest | Colete de alta visibilidade |
| 2 | head | Cabeça SEM capacete, ou seja a violação |
| 3 | no_vest | Torso SEM colete, ou seja a violação |
Validation metrics (final epoch)
| Metric | Value |
|---|---|
| Precision | 0.8097 |
| Recall | 0.7706 |
| mAP@0.5 | 0.8064 |
| mAP@0.5:0.95 | 0.5555 |
| Epochs trained | 117 |
Per-class, held-out test split (1.828 imagens, 6.021 caixas)
| class | gt | P | R | mAP@0.5 | mAP@0.5:0.95 |
|---|---|---|---|---|---|
| helmet | 4390 | 0.923 | 0.945 | 0.975 | 0.650 |
| vest | 292 | 0.845 | 0.846 | 0.901 | 0.631 |
| head | 1319 | 0.882 | 0.913 | 0.939 | 0.645 |
| no_vest | 20 | 0.807 | 0.650 | 0.650 | 0.377 |
tem apenas 20 caixas de ground truth no teste. Trate esse número como indicativo, não como medida.
Recall vs escala do objeto
Métrica in-domain é medida em imagens onde a cabeça ocupa ~1% da área. Numa câmera de obra real ela ocupa 0,01% a 0,09%, duas ordens de grandeza a menos. O teste abaixo mantém os rótulos e encolhe os pixels, colocando cada imagem de teste reduzida num canvas 960x720:
| escala | helmet | vest | head | no_vest |
|---|---|---|---|---|
| 1.0 | 0.896 | 0.822 | 0.841 | 0.550 |
| 0.5 | 0.928 | 0.781 | 0.879 | 0.400 |
| 0.3 | 0.898 | 0.753 | 0.845 | 0.250 |
| 0.2 | 0.818 | 0.668 | 0.757 | 0.090 |
sobrevive à redução de 5x. desmorona e por isso não deve dirigir alertas sozinho.
Limitações
- Recall em domínio real não foi medido. As tabelas acima usam imagens do dataset, encolhidas ou não. Footage pública de obra é 100% em conformidade, então serve para medir alarme falso mas não recall de violação. Fechar isso exige footage rotulada com violações reais em ângulo de CCTV.
- O split de validação sai das mesmas fontes do treino, então mAP alto aqui não prova desempenho em campo. A versão anterior marcou mAP@0.5 = 0.944 e falhava quase por completo em câmera real.
- é fraco. Em produção o Vigilante.AI o mantém fora das classes de violação confiáveis e continua inferindo colete por ausência.
Training setup
| Param | Value |
|---|---|
| Base model | yolov8s-p2.yaml |
| Pretrained | yolov8s.pt (COCO) |
| Image size | 960 |
| Batch size | 12 |
| Optimizer | SGD |
| Initial LR | 0.01, cosine |
| Epochs | 117 |
| scale | 0.9 |
| mosaic | 1.0, close_mosaic 20 |
é a escolha que mais importa. sorteia em uniform(1-s, 1+s), então 0.9 espalha um capacete frontal de 60 px entre 6 e 114 px e cobre a faixa de deploy. O valor anterior, 0.5, parava em 30 px, o dobro do que a câmera entrega.
Dataset
Merged from public PPE datasets on Roboflow Universe, mapped onto the 4-class schema:
- Personal Protective Equipment Combined Model
- Hard Hats
- Hard Hat Universe
- Safety Vests
- vest-qf3av
- vest-pbrbu
68.141 pares imagem+rótulo coletados, dos quais a deduplicação por average-hash removeu 31.567 (46%), sobrando 36.574 imagens: train 29.260, val 5.486, test 1.828.
Essas fontes já traziam as classes de violação (, , ) e o merge anterior as descartava. Recuperá-las adicionou ~42.700 caixas de cabeça descoberta sem baixar um único dataset novo.
Distribuição no train: helmet 68.149, head 20.480, vest 4.631, no_vest 282. O desbalanceamento não foi corrigido por oversampling: na versão anterior a classe minoritária teve desempenho melhor que a majoritária, o que indica que o gargalo é resolução, não frequência.
Augmentation
YOLO built-ins apenas: mosaic, HSV jitter, perspective, scale, translate, horizontal flip. Sem Albumentations offline. , e ficaram em zero de propósito: os dois últimos são no-ops silenciosos em rótulos que só têm caixa.
Quick start
Download
Drop into the Vigilante.AI backend
Intended use
Construído para monitoramento de compliance de EPI em tempo real no Vigilante.AI — canteiros de obra, fábricas, galpões e ambientes industriais. Otimizado para streams RTSP / IP-cam, mas funciona em qualquer fonte de imagem suportada pelo Ultralytics (vídeo, webcam, imagem).
Use cases cobertos pelo Vigilante.AI usando este modelo:
- Detecção em tempo real de trabalhadores sem capacete ou colete
- Geração de alertas com snapshot do frame para revisão por supervisor
- Active learning loop: feedback (correto / falso positivo) gera amostras YOLO para retreino
- Reporting multi-tenant de compliance por câmera / site / período
Limitations
- Trained on 4 classes only (helmet, vest, head, no_vest). Does not detect gloves, boots, glasses, masks, etc.
- Performance degrades under extreme occlusion, very low resolution (< 320 px), or unusual viewpoints not represented in training data.
- May confuse high-vis clothing that is not a vest (e.g., jackets) with the vest class.
- No bias evaluation across demographics has been performed.
Citation / créditos
Modelo treinado para o projeto Vigilante.AI — sistema completo de monitoramento de EPI com backend FastAPI multi-tenant, frontend Next.js, simulador RTSP via mediamtx, observabilidade com Prometheus + structlog, e pipeline de active learning integrado.
Repositório: https://github.com/badmuriss/vigilante-ai
License
AGPL-3.0 (inherited from Ultralytics YOLOv8).