modeloQANoticiasDominicanas

Descripción

Modelo desarrollado para el Dominican News Question Answering Challenge de ICC-344-T. El sistema recibe una pregunta y un contexto noticioso, y extrae una respuesta contenida explícitamente en el contexto.

Integrantes

• Esmery Vásquez, ID: 10154325
• Jeverlin Ramos, ID: 10154300

Recursos oficiales

• Dataset: Lisibonny/pdqa
• Baseline: Lisibonny/modelo_qa_beto_squad_es_pdqa
• Aplicación: Lisibonny/Repartidor_Dominicano

Modelo base

• Repositorio: Lisibonny/modelo_qa_beto_squad_es_pdqa
• Justificación: Modelo proporcionado para el proyecto final de la asignatura Procesamiento de Lenguaje Natural
• Número aproximado de parámetros: 110 millones, que es la arquitectura BERT base

Datos

No se publicaron ni utilizaron respuestas privadas de test.

Se identificó que el conjunto de train original de 45 filas solo tenía un ejemplo simple de enumeración de entidades, sin ejemplos de enumeración con tres o más entidades con datos adicionales para cada una. Esta ausencia se relacionó con uno de los tres patrones de error analizados en el baseline. Por este motivo, el conjunto de train fue ampliado con 23 ejemplos adicionales, obtenidos de noticias reales que fueron publicadas en periódicos digitales como Diario Libre, El Nacional, Remolacha.net, AlMomento.net y GenteTuya.com, orientados a reforzar estos tres patrones identificados. Cada ejemplo fue verificado individualmente para asegurar que cumpliera con la calidad de los datos ya proporcionados. Todos los detalles de cada noticia, incluyendo la fuente y el enlace correspondiente, se encuentra documentado en https://docs.google.com/spreadsheets/d/1E_z-ZiIk2mUd9bRt1rgEKCENXrJZTgtK0KY-_gsEU3w/edit?usp=sharing

Entrenamiento

Experimentos

Ablación o comparación controlada

Para aislar el efecto del weight_decay sobre el modelo, se hizo una ablación en la que se mantuvo la misma configuración de parámetros que en la variante 5, cambiando solamente el weight_decay de 0 a 0.01. Se escogió el weight_decay como variable a aislar porque de todos los parámetros modificados, ese era el único que no se había evaluado de forma controlada conservando la configuración igual.

El resultado fue el mismo que el de la variante 5, con un exact match de 66.67 y un F1 de 77.49, lo que sugiere que para esa configuración y tamaño de dataset, el weight_decay no tiene efecto sobre el desempeño del modelo.

Resultados

• Exact Match en validation: 73.33
• F1 en validation: 83.38
• Script de evaluación: 05_evaluate_qa.py

Ejemplo de uso

Para reproducir las métricas reportadas, es necesario, además de cargar el modelo con el pipeline estándar de Hugging Face, aplicar los ajustes realizados durante la predicción, un max_answer_len de 50 y una función de posprocesamiento. A continuación se muestra el código necesario para reproducir el comportamiento.

!pip install -q "transformers>=4.45,<5.0"

import torch
from transformers import pipeline

device = 0 if torch.cuda.is_available() else -1

REPO_ID = "JeverlinRamos/modeloQANoticiasDominicanas"

qa_nbest = pipeline(
    "question-answering",
    model=REPO_ID,
    tokenizer=REPO_ID,
    max_answer_len=50,
    top_k=5,
    device=device,
)

def predecir_con_extension(question, context, umbral_score_relativo=0.15):
    if question.strip().lower().startswith(("¿cómo", "¿como")):
        candidatos = qa_nbest(question=question, context=context)
        if isinstance(candidatos, dict):
            candidatos = [candidatos]
        return candidatos[0]

    candidatos = qa_nbest(question=question, context=context)
    if isinstance(candidatos, dict):
        candidatos = [candidatos]

    respuesta_principal = candidatos[0]

    mejor_respuesta_extendida = None
    for candidato in candidatos[1:]:
        if not candidato["answer"] or respuesta_principal["answer"] not in candidato["answer"]:
            continue
        if candidato["score"] < respuesta_principal["score"] * umbral_score_relativo:
            continue
        if mejor_respuesta_extendida is None or candidato["score"] > mejor_respuesta_extendida["score"]:
            mejor_respuesta_extendida = candidato

    return mejor_respuesta_extendida if mejor_respuesta_extendida else respuesta_principal

predecir_con_extension(
    question="¿Quién hizo el anuncio?",
    context="La ministra informó que el programa comenzará en agosto."
)

Análisis de errores

De las 15 preguntas del conjunto de validation, el modelo final acierta 11 de forma exacta, lo que equivale al 73.33% de Exact Match. Las 4 preguntas restantes obtienen un F1 parcial, siendo la fila 0 la más cercana a un acierto completo, con F1=0.81, ya que la predicción incluye la respuesta correcta pero con texto adicional de más. De las 4 fallas, se identifican tres patrones distintos:

Fila 0 (F1=0.81): el modelo agrega palabras de más al inicio ("es") y al final ("en su día a día") de una respuesta que en esencia es correcta. Fila 9 (F1=0.00): el modelo confunde una pregunta que espera una respuesta cualitativa ("seguirá siendo alta") con un dato cuantitativo cercano en el texto ("en torno al 7%"). Fila 11 (F1=0.00): el modelo extrae una fecha ("diciembre") en vez de la causa que pide la pregunta ("por las turbulencias en el sector bancario..."). Fila 13 (F1=0.69): el modelo extiende demasiado la respuesta, incluyendo texto de más antes y después de los nombres correctos, en vez de devolver únicamente los nombres de los exministros.

En conjunto, estos errores reflejan dificultades para identificar el tipo de respuesta esperada según el tipo de pregunta.

Limitaciones

• La respuesta debe estar presente en el contexto.

• El modelo puede confundir entidades, fechas o cantidades similares.

• El modelo no verifica la veracidad de la noticia.

• No debe utilizarse como única fuente para decisiones de alto impacto.

• El modelo suele confundir respuestas cualitativas con datos numéricos cercanos en preguntas del estilo "¿Cómo será...?", y a confundir la causa real con otro tipo de información en preguntas del tipo "¿Por qué...?". Ambos patrones continuan, en menor medida, a pesar de haber ampliado el conjunto de entrenamiento con ejemplos destinados corregirlos.

Reproducibilidad

• Repositorio de código: https://github.com/JeverlinMaireniRamosCaceres/ICC344-ProyectoFinal
• Commit: 916ca8472cc14a413014127024bf9b997a033da9
• Notebook: 03_Introduccion_QA_Noticias(CON_68).ipynb
• Archivo de dependencias: 09_requirements.txt
• Semillas: 42