JoaoBoer/tofu_Llama-3.1-8B-Instruct_forget10_GradDiff — плотная авторегрессионная языковая модель семейства Llama 3.1, основанная на open-unlearning/tofu_Llama-3.1-8B-Instruct_full. Её дообучили методом GradDiff на части forget10 набора TOFU с использованием фреймворка open-unlearning.

Модель предназначена для генерации текста и диалоговых ответов, а прежде всего — для экспериментов по забыванию обучающих данных. В проекте Speculative-Decoding-Unlearning она используется как базовая модель для сравнения весового unlearning и как draft-модель. Размер — 7,5 млрд параметров, контекст — до 131 072 токенов; формат весов — safetensors, основная библиотека — Transformers.

В README приведены метрики TOFU для запоминания и извлечения данных после unlearning. Эти результаты относятся к указанной оценке и сами по себе не гарантируют удаление данных во всех сценариях. Модель распространяется по лицензии Llama 3.1.