JoaoBoer/tofu_Llama-3.2-3B-Instruct_forget01_WGA — плотная авторегрессионная языковая модель семейства Llama 3.2 с 3,2 млрд параметров, основанная на open-unlearning/tofu_Llama-3.2-3B-Instruct_full. Модель дообучена методом WGA на части forget01 датасета TOFU с использованием фреймворка open-unlearning.

Она предназначена для генерации текста и диалоговых экспериментов по машинному забыванию данных: в проекте Speculative-Decoding-Unlearning используется как базовая модель с unlearning по весам и как черновая модель для спекулятивного декодирования. Для чекпойнта приведены метрики TOFU, включая exact_memorization 0,8136, extraction_strength 0,1881 и forget_Q_A_PARA_Prob 0,0762. Контекстное окно составляет до 131 072 токенов; модель рассчитана на работу через Transformers и сохранена в формате safetensors. Лицензия — llama3.2.

Показатели относятся к оценке на TOFU и сами по себе не подтверждают качество для широких прикладных задач. Данные не уточняют языковой охват модели.