XLM-RoBERTa Fine-tuned for NER on Prostate Cancer Clinical Texts
Descripción
Modelo XLM-RoBERTa (multilingüe) afinado para reconocimiento de entidades nombradas (NER) en textos clínicos sobre cáncer de próstata.
Modelo base: xlm-roberta-base
Entidades Reconocidas
El modelo identifica 10 tipos de entidades clínicas:
- EDAD: Edad del paciente
- BIOMARCADOR: PSA, marcadores biológicos
- CANCER: Tipos de cáncer
- GLEASON: Score de Gleason
- TNM: Clasificación TNM
- TRATAMIENTO: Tratamientos médicos
- MEDICAMENTO: Medicamentos
- DOSIS: Dosis de medicamentos
- CIRUGIA: Procedimientos quirúrgicos
- FECHA: Fechas de eventos médicos
Rendimiento
| Métrica | Valor |
|---|---|
| F1-score | 96.70% |
| Precision | 96.41% |
| Recall | 97.00% |
| Accuracy | 99.37% |
Uso
from transformers import pipeline
# Cargar modelo
ner_pipeline = pipeline(
"token-classification",
model="Lucyan85/xlmr-ner-prostata",
aggregation_strategy="simple"
)
# Ejemplo
texto = '''Paciente masculino de 72 años con adenocarcinoma de próstata.
Gleason 3+3, PSA 9.9 ng/dL.'''
resultados = ner_pipeline(texto)
for entidad in resultados:
print(f"{entidad['entity_group']}: {entidad['word']}")
Entrenamiento
- Batch size: 16
- Learning rate: 2e-05
- Épocas: 10
- Max length: 128
- Early stopping: 3 épocas
Comparación con BETO
XLM-RoBERTa es un modelo multilingüe entrenado en 100 idiomas, mientras que BETO está especializado en español. Este modelo puede generalizar mejor en textos con términos médicos en diferentes idiomas.
Autor
Lucyan85 - Maestría en Ingeniería de Sistemas y Computación, Universidad Nacional de Colombia