CAG-13b

CAG-13b — языковая модель Ruotong Pan и соавторов с генерацией, учитывающей достоверность источников. Модель дообучена на LLaMA2-13B и предназначена для ответов на вопросы с использованием контекста, в том числе документов, полученных через RAG.

Модель оценивает достоверность сведений в контексте, чтобы сохранять устойчивость к зашумлённым или вводящим в заблуждение документам. Среди сценариев применения авторы называют ответы с учётом персонализированных оценок доверия и разрешение конфликтов между источниками знаний; модель оценивали на открытых и чувствительных ко времени вопросах, а также на вопросах по материалам с дезинформацией. Это плотная причинная архитектура LLaMA с 12,9 млрд параметров и контекстом до 4096 токенов; вход и выход — текст. В карточке указаны английский язык и лицензия MIT. Модель не является специализированной поисковой системой или гарантией проверки фактов: качество ответов зависит от контекста и заданных оценок достоверности.