JoaoBoer/tofu_Llama-3.2-1B-Instruct_forget10_GradDiff — дообученная модель семейства Llama 3.2, созданная на основе open-unlearning/tofu_Llama-3.2-1B-Instruct_full в проекте open-unlearning. Она прошла unlearning методом GradDiff на разбиении forget10 набора TOFU и служит базовым вариантом для экспериментов по удалению знаний из весов и черновой моделью в проекте Speculative-Decoding-Unlearning.

Модель имеет плотную архитектуру LlamaForCausalLM, содержит 1,2 млрд параметров и принимает текст, выдавая текст. Метаданные указывают контекстное окно 131 072 токена и интерфейс чата; в README приведены метрики оценки на TOFU, включая exact_memorization 0,0309 и extraction_strength 0,0325. Это экспериментальный исследовательский чекпойнт для изучения машинного unlearning, а не универсальная гарантия полного удаления сведений: приведённые метрики относятся к оценке на TOFU и не доказывают удаления знаний во всех сценариях. Лицензия — Llama 3.2; применяются условия лицензии Meta Llama 3.2.