Это разговорная текстовая модель из учебного проекта Harvard CS 2881R по безопасности ИИ, подготовленная для задания Assignment 1, этапа 3. Она основана на Qwen2.5-3B-Instruct через промежуточную модель, дообученную методом SFT и RLAIF; затем к ней применили GRPO и объединили LoRA-адаптер с весами модели. В метаданных указаны архитектура Qwen2, 3,1 млрд параметров и контекст до 32 768 токенов.

Модель предназначена для генерации диалоговых ответов. При выборе чекпойнта авторы учитывали соответствие заданной персоне, качество, правильность ответов по проверяющим критериям и склонность к зацикливанию или пропуску EOS. Веса доступны в формате safetensors, лицензия — Apache-2.0. README описывает учебный эксперимент, но не приводит результатов, позволяющих оценить качество модели в более широких сценариях.