Диалоговая модель Llama 3.1 на 7,5 млрд параметров, дообученная методом IdkDPO для экспериментов по удалению знаний на разбиении forget01 датасета TOFU.
342скачиваний за 30 дней0лайковвеса обновлены2 окт 2026
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
1
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
2
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
3
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
tofu_Llama-3.1-8B-Instruct_forget01_IdkDPO — дообученная модель семейства Llama 3.1 от автора репозитория JoaoBoer. Она создана на базе open-unlearning/tofu_Llama-3.1-8B-Instruct_full: модель прошла процедуру удаления знаний (unlearning) на разбиении forget01 датасета TOFU с методом IdkDPO. Репозиторий описывает её как базовый пример весового unlearning и черновую модель для проекта Speculative-Decoding-Unlearning.
Это причинная плотная языковая модель примерно с 7,5 млрд параметров, предназначенная для генерации текста и диалоговых сценариев. Указанный размер контекста — 131 072 токена. Для воспроизводимости приведены конфигурация обучения и результаты оценки на TOFU; README сообщает значения exact_memorization 0,9615, extraction_strength 0,7164 и forget_Q_A_PARA_Prob 0,1421.
Модель подходит для экспериментов по удалению знаний и оценки сохранения или извлечения информации после unlearning. Лицензия — Llama 3.1; применимость её условий следует проверять перед использованием или распространением. Результаты относятся к указанным метрикам и настройке TOFU и сами по себе не подтверждают качество на других задачах.
Сценарии применения
эксперименты по удалению выбранных знаний из языковой модели
оценка извлечения забываемой информации из модели
сравнение методов unlearning на разбиении forget01 датасета TOFU
исследование весового unlearning в диалоговой LLM
использование черновой модели в экспериментах speculative decoding с unlearning
Ограничения
Приведённые метрики относятся к оценке на TOFU и не характеризуют качество на других задачах. Поддерживаемый язык явно не описан; условия лицензии Llama 3.1 могут накладывать ограничения на использование и распространение.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
open-unlearning/tofu_Llama-3.1-8B-Instruct_full unlearned on the TOFU forget01 split with IdkDPO, trained with the open-unlearning framework. Used as a weight-unlearning baseline / draft model in the Speculative-Decoding-Unlearning project.
Full training config: .hydra/config.yaml. TOFU evaluation outputs: evals/.