Joao Boer подготовил эту плотную авторегрессионную языковую модель семейства Llama 3.2 для экспериментов по машинному забыванию данных. Модель на 3,2 млрд параметров основана на open-unlearning/tofu_Llama-3.2-3B-Instruct_full и дообучена методом SimNPO на части forget05 набора TOFU в рамках проекта open-unlearning.

Модель предназначена для генерации текста в диалоговом формате и служит базовым вариантом для оценки удаления запомненных сведений и экспериментов со speculative decoding. В карточке приведены метрики TOFU, включая exact_memorization 0,5952, extraction_strength 0,0607 и forget_Q_A_PARA_Prob 0,0442. Поддерживается контекст до 131 072 токенов; указаны библиотека Transformers и формат safetensors.

Для использования требуется соблюдать лицензию Llama 3.2. Это специализированный исследовательский чекпойнт для экспериментов с забыванием на TOFU; представленные метрики сами по себе не подтверждают качество удаления данных за пределами этого протокола.