Характеристики

Контекст: 131 072 токена
Параметры: 7,5 млрд
Размер весов: 16,1 ГБ
Лицензия: Llama 3.1
Архитектура: llama · dense
Базовая модель: tofu_Llama-3.1-8B-Instruct_full
Библиотека: transformers
Опубликована: 30 сен 2026

Ссылки

tofu_Llama-3.1-8B-Instruct_forget05_IdkDPO

Генерация текстаТекст → текст3 профессии

Диалоговая Llama 3.1 8B, дообученная методом IdkDPO на forget05 из TOFU для экспериментов по машинному забыванию и спекулятивному декодированию.

268скачиваний за 30 дней0лайковвеса обновлены2 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

JoaoBoer/tofu_Llama-3.1-8B-Instruct_forget05_IdkDPO — плотная причинно-языковая модель семейства Llama 3.1 примерно с 7,5 млрд параметров. Её разработали как вариант open-unlearning/tofu_Llama-3.1-8B-Instruct_full, дообученный методом IdkDPO на части forget05 набора TOFU в рамках проекта open-unlearning.

Модель предназначена для генерации текста в диалоговом формате и служит базовой моделью для исследования забывания данных по весам, а также черновой моделью в проекте Speculative-Decoding-Unlearning. В карточке приведены метрики оценки на TOFU; заявленное родное контекстное окно составляет 131 072 токена. Репозиторий использует Transformers и формат safetensors.

Лицензия — Llama 3.1 Community License. Результаты и назначение модели ориентированы на эксперименты по машинному забыванию; наличие этого этапа обучения само по себе не гарантирует полного удаления знаний или отсутствия их извлечения.

Сценарии применения

изучение забывания заданных фактов из параметров языковой модели
оценка извлечения забытых ответов на вопросах TOFU
использование черновой модели в экспериментах по спекулятивному декодированию с unlearning
генерация диалоговых ответов в исследовательских экспериментах

Ограничения

Модель является исследовательской базовой точкой для unlearning на конкретном разделении TOFU; метрики показывают, что извлечение информации не исключено. Карточка не подтверждает полное забывание данных или качество за пределами указанной оценки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

tofu_Llama-3.1-8B-Instruct_forget05_IdkDPO

open-unlearning/tofu_Llama-3.1-8B-Instruct_full unlearned on the TOFU forget05 split with IdkDPO, trained with the open-unlearning framework. Used as a weight-unlearning baseline / draft model in the Speculative-Decoding-Unlearning project.

Full training config: .hydra/config.yaml. TOFU evaluation outputs: evals/.

Method hyperparameters

gamma: 1.0
alpha: 2
retain_loss_type: NLL
beta: 0.05

TOFU summary metrics

metric	value
exact_memorization	0.6793
extraction_strength	0.1270
forget_Q_A_PARA_Prob	0.0827
forget_Q_A_gibberish	0.9734
forget_quality	0.0085
forget_truth_ratio	0.6695
mia_loss	0.6069
mia_min_k	0.5963
mia_min_k_plus_plus	0.6241
mia_zlib	0.5067
model_utility	0.0000
privleak	-37.3020

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 645afde

Характеристики

Ссылки

tofu_Llama-3.1-8B-Instruct_forget05_IdkDPO

Бенчмарки

Тесты пользователейпока нет

Добавьте модель в бенчмарк

Опишите свои задачи

Запустите и опубликуйте

Публичные оценки

Что умеет модель

Сценарии применения

Ограничения

Для каких профессий подходит3

Карточка модели

tofu_Llama-3.1-8B-Instruct_forget05_IdkDPO

Method hyperparameters

TOFU summary metrics

Как запустить