BETO fine-tuned para NER de cáncer de próstata (español)
Modelo de Reconocimiento de Entidades Nombradas (NER) que extrae información clínica de textos en español sobre cáncer de próstata. Es un fine-tuning de BETO (BERT entrenado desde cero en español) para clasificación de tokens en formato BIO con 21 etiquetas.
F1 en test: 0.976 (seqeval, micro) · Precision 0.973 · Recall 0.978 · Accuracy 0.995
🎯 Para qué sirve
Detecta y clasifica, palabra por palabra, 10 tipos de entidades clínicas en informes y notas médicas de oncología prostática:
| Entidad | Qué captura | Ejemplo |
|---|---|---|
EDAD | Edad del paciente | 72 años |
CANCER | Tipo/diagnóstico de cáncer | adenocarcinoma de próstata |
GLEASON | Escala de Gleason | Gleason 3+3 |
BIOMARCADOR | Biomarcadores (PSA, etc.) | PSA de 9.9 ng/dL |
TNM | Estadificación TNM | T2N0M0 |
TRATAMIENTO | Tratamientos | radioterapia |
MEDICAMENTO | Fármacos | bicalutamida |
DOSIS | Dosis | 50 mg diarios |
CIRUGIA | Procedimientos quirúrgicos | prostatectomía radical |
FECHA | Fechas | marzo de 2023 |
Cada entidad se etiqueta en esquema BIO (B- inicio, I- continuación, O fuera),
para 21 etiquetas en total.
🚀 Uso rápido
from transformers import pipeline
ner = pipeline("token-classification", model="ralzate/beto-prostata-ner",
aggregation_strategy="simple")
texto = ("Paciente masculino de 72 años con adenocarcinoma de próstata, "
"Gleason 3+3 y PSA de 9.9 ng/dL. Se inicia radioterapia y bicalutamida 50 mg.")
for e in ner(texto):
print(f"{e['entity_group']:14s} {e['score']*100:5.1f}% {e['word']}")
Salida esperada (entidades como EDAD, CANCER, GLEASON, BIOMARCADOR,
TRATAMIENTO, MEDICAMENTO, DOSIS).
📊 Resultados (conjunto de test, seqeval)
Barrido de batch size con 6 épocas y early stopping:
| batch size | Precision | Recall | F1 |
|---|---|---|---|
| 8 (recomendado) | 0.9732 | 0.9781 | 0.9757 |
| 16 | 0.9627 | 0.9705 | 0.9666 |
| 32 | 0.9488 | 0.9603 | 0.9545 |
Este repositorio publica la mejor configuración (batch size 8). El F1 baja levemente al aumentar el lote porque, con 6 épocas, los lotes pequeños dan más pasos de optimización.
Comparación con XLM-RoBERTa
En el mismo dataset, BETO supera a XLM-RoBERTa-base (multilingüe) en todo el barrido (F1 0.955–0.976 vs 0.850–0.936). En NER clínico en español, un encoder nativo en español y compacto rinde mejor que un multilingüe más grande: la especialización lingüística pesa más que el tamaño.
🧠 Detalles de entrenamiento
| Modelo base | dccuchile/bert-base-spanish-wwm-cased (BETO, ~110M parámetros) |
| Tarea | Token Classification (NER), 21 etiquetas BIO |
| Dominio | Texto clínico de cáncer de próstata en español |
| Épocas | 6 (con early stopping, paciencia 2, métrica F1) |
| Learning rate | 2e-5 |
| Batch size | 8 (este checkpoint) |
| Longitud máxima | 128 subtokens |
| Optimizador | AdamW, weight decay 0.01, warmup 0.1 |
| Métrica | seqeval (precision/recall/F1 a nivel de entidad) |
| Hardware | Apple M1 Pro (MPS), entrenamiento local |
| Alineación | etiqueta en el primer subtoken de cada palabra; resto a -100 |
⚠️ Limitaciones
- Entrenado en un dominio específico (cáncer de próstata en español); fuera de ese dominio el rendimiento puede caer.
- El conjunto de datos es de tamaño moderado; entidades poco frecuentes pueden tener menor recall.
- No sustituye el criterio clínico profesional. Pensado como apoyo a la extracción de información, no para decisiones médicas autónomas.
- Hereda los posibles sesgos de BETO y del corpus clínico de entrenamiento.
🏷️ Etiquetas
O
B-EDAD, I-EDAD, B-CANCER, I-CANCER, B-GLEASON, I-GLEASON,
B-BIOMARCADOR, I-BIOMARCADOR, B-TNM, I-TNM, B-TRATAMIENTO, I-TRATAMIENTO,
B-MEDICAMENTO, I-MEDICAMENTO, B-DOSIS, I-DOSIS, B-CIRUGIA, I-CIRUGIA, B-FECHA, I-FECHA
📚 Cita
Si usas este modelo, cita también a BETO:
@inproceedings{canete2020beto,
title={Spanish Pre-Trained BERT Model and Evaluation Data},
author={Cañete, José and Chaperon, Gabriel and Fuentes, Rodrigo and Ho, Jou-Hui and Kang, Hojin and Pérez, Jorge},
booktitle={PML4DC at ICLR 2020},
year={2020}
}
Modelo afinado y publicado como parte de un proyecto de PLN en español (clasificación y NER con Transformers). Reproducible en hardware modesto (Apple Silicon) mediante fine-tuning completo para BETO y LoRA para modelos grandes.