Modelo QA PDQA Final
Descripción
Este modelo realiza Question Answering extractivo en español.
Fue desarrollado a partir del modelo baseline Lisibonny/modelo_qa_beto_squad_es_pdqa y ajustado con la división train del dataset Lisibonny/pdqa.
El sistema recibe una pregunta y un contexto, y selecciona como respuesta un fragmento presente en el contexto.
Dataset
- Train: 45 ejemplos.
- Validation: 15 ejemplos.
- Test: 20 ejemplos.
Train se utilizó para el ajuste fino, validation para comparar las variantes y test únicamente para generar las predicciones finales.
Configuración de entrenamiento
- Modelo inicial: Lisibonny/modelo_qa_beto_squad_es_pdqa.
- Épocas: 3.
- Learning rate: 2e-5.
- Batch size: 4.
- Weight decay: 0.01.
- Semilla: 42.
- Max length: 384.
- Doc stride: 128.
- Max answer length durante la inferencia: 20.
Resultados en validation
| Configuración | Exact Match | F1 |
|---|---|---|
| Baseline oficial | 60.00 | 75.84 |
| Modelo ajustado | 66.67 | 77.70 |
| Sistema final con max_answer_len=20 | 73.33 | 80.15 |
El sistema final mejoró el baseline en 13.33 puntos de Exact Match y 4.31 puntos de F1.
Las métricas fueron confirmadas con el evaluador oficial 05_evaluate_qa.py sobre los 15 ejemplos de validation.
Uso
from transformers import pipeline
qa = pipeline(
"question-answering",
model="Arlizaethnunez/modelo-qa-pdqa-final",
tokenizer="Arlizaethnunez/modelo-qa-pdqa-final"
)
resultado = qa(
question="Escriba aquí la pregunta",
context="Escriba aquí el contexto",
max_answer_len=20
)
print(resultado["answer"])
Limitaciones
El modelo fue ajustado con 45 ejemplos de entrenamiento y evaluado con 15 ejemplos de validation. Debido al tamaño reducido de validation, una sola respuesta exacta modifica Exact Match en aproximadamente 6.67 puntos.
El modelo es extractivo, por lo que solo puede seleccionar respuestas presentes dentro del contexto.
La división test no se utilizó para seleccionar hiperparámetros ni para modificar manualmente las predicciones.