JoaoBoer/tofu_Llama-3.1-8B-Instruct_forget05_NPO — экспериментальная версия Llama 3.1 8B Instruct, разработанная как базовая модель для экспериментов по удалению знаний. Модель дообучена методом NPO на разделении forget05 набора TOFU с использованием фреймворка open-unlearning; в проекте Speculative-Decoding-Unlearning она используется как базовая модель для сравнения методов удаления знаний и как черновая модель для спекулятивного декодирования.

Модель с плотной архитектурой LlamaForCausalLM содержит 7,5 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Карточка приводит метрики запоминания и извлечения на TOFU, но не описывает широкие прикладные сценарии или качество на общих задачах. Лицензия — Llama 3.1; условия применения следует сверять с лицензией семейства Llama.