CIMA-BERTIN-4.8
Modelo de lenguaje en español adaptado al dominio de la farmacovigilancia mediante
continued pre-training con masked language modeling (MLM). Parte de
bertin-project/bertin-base-gaussian-exp-512seqlen
y se especializa en la sección 4.8, «Reacciones adversas», de las fichas técnicas
de medicamentos del CIMA de la AEMPS.
El modelo está pensado para fill-mask, generación de representaciones y como
punto de partida para ajuste fino en tareas biomédicas en español. No es un
modelo generativo ni un sistema de recomendación clínica.
Uso
from transformers import pipeline
fill_mask = pipeline(
"fill-mask",
model="guerrerotook/CIMA-BERTIN-4.8",
)
predictions = fill_mask(
"Las reacciones adversas más frecuentes son <mask>.",
top_k=5,
)
Para obtener el modelo y el tokenizador directamente:
from transformers import AutoModelForMaskedLM, AutoTokenizer
model_id = "guerrerotook/CIMA-BERTIN-4.8"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForMaskedLM.from_pretrained(model_id)
Entrenamiento
- Modelo de partida:
bertin-project/bertin-base-gaussian-exp-512seqlen. - Corpus:
guerrerotook/CIMA-4.8-ADR, formado por unas 27 000 secciones 4.8 de fichas técnicas CIMA normalizadas a Markdown. - Separación: 49 medicamentos se excluyeron del continued pre-training y se reservaron para la evaluación intrínseca.
- Volumen tokenizado de entrenamiento: 44 970 502 subtokens con el tokenizador BERTIN.
- Objetivo: MLM con probabilidad de enmascarado de 0.18.
- Longitud de secuencia durante la adaptación: 128 subtokens.
- Épocas: 3.
- Tamaño de lote por dispositivo: 16.
- Optimizador: AdamW, tasa de aprendizaje de
5e-5y planificador lineal. - Semilla: 42.
La adaptación se ejecutó con PyTorch 2.10 y Transformers 5.3 sobre una GPU CUDA. El vocabulario y el tokenizador del modelo de partida no se modificaron.
Evaluación
La evaluación se realizó sobre los 49 medicamentos reservados, con whole-word masking, probabilidad 0.18, ventanas de 128 subtokens y semilla 42. El mismo corpus enmascarado se reutilizó para este modelo y su modelo de partida.
| Modelo | CE ↓ | Pseudo-PPL ↓ | Top-1 ↑ | Top-5 ↑ |
|---|---|---|---|---|
| BERTIN de partida | 4.089 | 59.71 | 44.45 % | 56.99 % |
| CIMA-BERTIN-4.8 | 2.406 | 11.09 | 60.82 % | 74.12 % |
Se evaluaron 13 151 posiciones enmascaradas en 565 ventanas. La pseudo-perplejidad
se calcula como exp(CE). Tanto CE como pseudo-perplejidad dependen del
tokenizador y solo deben compararse entre modelos de la misma familia. El informe
completo y los parámetros de evaluación se publican en eval_results.json.
Limitaciones
- La adaptación se concentra en texto regulatorio farmacológico de España y puede no transferirse a historias clínicas, conversación médica u otros países.
- Una mejor métrica MLM no implica por sí sola mejor rendimiento en una tarea clínica o de extracción de información.
- El modelo puede reproducir errores y sesgos de sus datos y del modelo de partida.
- No se ha validado para diagnóstico, prescripción ni toma de decisiones clínicas.
Para extracción de reacciones adversas, principios activos, frecuencias y sistemas
orgánicos, se recomienda el modelo ajustado para NER
guerrerotook/CIMA-BERTIN-4.8-NER-ADR-CONLL.
Autoría y cita
Modelo desarrollado por Luis Miguel Guerrero Guirado en el Proyecto Fin de Grado del Grado en Ingeniería Informática de la UNED, dirigido por Salvador Ros Muñoz.
@thesis{guerrero2026cima,
author = {Guerrero Guirado, Luis Miguel},
title = {Aplicación de modelos de Inteligencia Artificial para la identificación y catalogación de reacciones adversas de medicamentos},
school = {Universidad Nacional de Educación a Distancia},
year = {2026},
type = {Proyecto Fin de Grado}
}
El uso de este checkpoint también debe atribuir el modelo BERTIN original:
@article{delarosa2022bertin,
author = {De la Rosa, Javier and Ponferrada, Eduardo G. and Romero, Manu and Villegas, Paulo and González de Prado Salas, Pablo and Grandury, María},
title = {BERTIN: Efficient Pre-Training of a Spanish Language Model using Perplexity Sampling},
journal = {Procesamiento del Lenguaje Natural},
volume = {68},
pages = {13--23},
year = {2022}
}
Licencia
Este modelo se publica bajo CC BY 4.0, igual que el modelo BERTIN de partida. El corpus CIMA usado para la adaptación también se distribuye bajo CC BY 4.0; consulta su tarjeta para conocer la procedencia y las condiciones de atribución de los datos.