CIMA-RoBERTa-4.8
Modelo de lenguaje biomédico en español adaptado al subdominio de la
farmacovigilancia mediante continued pre-training con masked language modeling
(MLM). Parte de
PlanTL-GOB-ES/roberta-base-biomedical-es
y se especializa en la sección 4.8, «Reacciones adversas», de las fichas técnicas
de medicamentos del CIMA de la AEMPS.
El modelo está pensado para fill-mask, generación de representaciones y como
punto de partida para ajuste fino en tareas biomédicas en español. No es un
modelo generativo ni un sistema de recomendación clínica.
Uso
from transformers import pipeline
fill_mask = pipeline(
"fill-mask",
model="guerrerotook/CIMA-RoBERTa-4.8",
)
predictions = fill_mask(
"Las reacciones adversas más frecuentes son <mask>.",
top_k=5,
)
Para obtener el modelo y el tokenizador directamente:
from transformers import AutoModelForMaskedLM, AutoTokenizer
model_id = "guerrerotook/CIMA-RoBERTa-4.8"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForMaskedLM.from_pretrained(model_id)
Entrenamiento
- Modelo de partida:
PlanTL-GOB-ES/roberta-base-biomedical-es. - Corpus:
guerrerotook/CIMA-4.8-ADR, formado por unas 27 000 secciones 4.8 de fichas técnicas CIMA normalizadas a Markdown. - Separación: 49 medicamentos se excluyeron del continued pre-training y se reservaron para la evaluación intrínseca.
- Volumen tokenizado de entrenamiento: 44 431 529 subtokens con el tokenizador RoBERTa biomédico.
- Objetivo: MLM con probabilidad de enmascarado de 0.18.
- Longitud de secuencia durante la adaptación: 128 subtokens.
- Épocas: 3.
- Tamaño de lote por dispositivo: 16.
- Optimizador: AdamW, tasa de aprendizaje de
5e-5y planificador lineal. - Semilla: 42.
La adaptación se ejecutó con PyTorch 2.10 y Transformers 5.3 sobre una GPU CUDA. El vocabulario y el tokenizador del modelo de partida no se modificaron.
Evaluación
La evaluación se realizó sobre los 49 medicamentos reservados, con whole-word masking, probabilidad 0.18, ventanas de 128 subtokens y semilla 42. El mismo corpus enmascarado se reutilizó para este modelo y su modelo de partida.
| Modelo | CE ↓ | Pseudo-PPL ↓ | Top-1 ↑ | Top-5 ↑ |
|---|---|---|---|---|
| RoBERTa biomédico de partida | 2.659 | 14.28 | 58.46 % | 73.40 % |
| CIMA-RoBERTa-4.8 | 2.010 | 7.46 | 69.09 % | 80.43 % |
Se evaluaron 11 150 posiciones enmascaradas en 493 ventanas. La pseudo-perplejidad
se calcula como exp(CE). Tanto CE como pseudo-perplejidad dependen del
tokenizador y solo deben compararse entre modelos de la misma familia. El informe
completo y los parámetros de evaluación se publican en eval_results.json.
Limitaciones
- La adaptación se concentra en texto regulatorio farmacológico de España y puede no transferirse a historias clínicas, conversación médica u otros países.
- Una mejor métrica MLM no implica por sí sola mejor rendimiento en una tarea clínica o de extracción de información.
- El modelo puede reproducir errores y sesgos de sus datos y del modelo de partida.
- No se ha validado para diagnóstico, prescripción ni toma de decisiones clínicas.
Para extracción de reacciones adversas, principios activos, frecuencias y sistemas
orgánicos, se recomienda el modelo ajustado para NER
guerrerotook/CIMA-RoBERTa-4.8-NER-ADR-CONLL.
Autoría y cita
Modelo desarrollado por Luis Miguel Guerrero Guirado en el Proyecto Fin de Grado del Grado en Ingeniería Informática de la UNED, dirigido por Salvador Ros Muñoz.
@thesis{guerrero2026cima,
author = {Guerrero Guirado, Luis Miguel},
title = {Aplicación de modelos de Inteligencia Artificial para la identificación y catalogación de reacciones adversas de medicamentos},
school = {Universidad Nacional de Educación a Distancia},
year = {2026},
type = {Proyecto Fin de Grado}
}
El uso de este checkpoint también debe atribuir el modelo biomédico original:
@misc{carrino2021biomedical,
author = {Carrino, Casimiro Pio and Armengol-Estapé, Jordi and Gutiérrez-Fandiño, Asier and Llop-Palao, Joan and Pàmies, Marc and Gonzalez-Agirre, Aitor and Villegas, Marta},
title = {Biomedical and Clinical Language Models for Spanish: On the Benefits of Domain-Specific Pretraining in a Mid-Resource Scenario},
year = {2021},
eprint = {2109.03570},
archivePrefix = {arXiv},
primaryClass = {cs.CL}
}
Licencia
Este modelo se publica bajo Apache 2.0, igual que el modelo RoBERTa biomédico de partida. El corpus CIMA usado para la adaptación se distribuye bajo CC BY 4.0; consulta su tarjeta para conocer la procedencia y las condiciones de atribución de los datos.