Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
JoaoBoer/tofu_Llama-3.2-1B-Instruct_forget10_UNDIAL — дообученная модель семейства Llama 3.2, созданная на основе open-unlearning/tofu_Llama-3.2-1B-Instruct_full. Разработчик применил UNDIAL к набору TOFU, чтобы добиться забывания примеров из разбиения forget10; модель использовалась как базовый вариант с изменёнными весами в проекте Speculative-Decoding-Unlearning.
Модель предназначена для генерации текста и диалоговых ответов, а также для экспериментов по машинному забыванию данных и оценки извлечения запомненной информации. Она имеет плотную архитектуру LlamaForCausalLM, содержит 1,2 млрд параметров и поддерживает контекст до 131 072 токенов. В README приведены метрики оценки на TOFU: exact_memorization 0,2632, extraction_strength 0,0351 и forget_Q_A_PARA_Prob 0,0935.
Карточка не сообщает о специальных языковых возможностях, поэтому языки не перечисляются. Модель распространяется по лицензии Llama 3.2. Результаты забывания относятся к конкретному набору и разбиению TOFU; они не подтверждают удаление любых связанных сведений или надёжное забывание вне этого теста.
Сценарии применения
генерация диалоговых ответов для оценки машинного забывания
проверка извлечения запомненных ответов из данных TOFU
сравнение методов unlearning на разбиении forget10
эксперименты со спекулятивным декодированием для моделей с забытыми данными
Ограничения
Показатели забывания приведены только для разбиения forget10 набора TOFU и не доказывают забывание за пределами этой оценки. README не уточняет поддерживаемые языки.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
open-unlearning/tofu_Llama-3.2-1B-Instruct_full unlearned on the TOFU forget10 split with UNDIAL, trained with the open-unlearning framework. Used as a weight-unlearning baseline / draft model in the Speculative-Decoding-Unlearning project.
Full training config: .hydra/config.yaml. TOFU evaluation outputs: evals/.