/ Модель
Каталог

Характеристики

Контекст
131 072 токена
Параметры
1,2 млрд
Лицензия
Llama 3.2
Архитектура
llama · dense
Базовая модель
tofu_Llama-3.2-1B-Instruct_full
Библиотека
transformers
Опубликована
10 сен 2026

Ссылки

Hugging Face

tofu_Llama-3.2-1B-Instruct_forget10_RMU

JoaoBoer
Генерация текстаТекст → текст3 профессии

Дообученная модель Llama 3.2 на 1,2 млрд параметров для экспериментов по удалению знаний из набора TOFU методом RMU.

76скачиваний за 30 дней0лайковвеса обновлены10 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Joao Boer представил дообученную версию open-unlearning/tofu_Llama-3.2-1B-Instruct_full: из неё методом RMU удаляли знания из части forget10 набора TOFU в рамках проекта open-unlearning. Модель служит базовым примером удаления знаний на уровне весов и черновой моделью для проекта Speculative-Decoding-Unlearning.

Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и 1,2 млрд параметров. Она принимает текст и генерирует текст; метаданные указывают контекст до 131 072 токенов и поддержку чатового интерфейса. В README приведены метрики оценки забывания на TOFU, включая exact_memorization 0,0281 и extraction_strength 0,0325.

Модель предназначена прежде всего для исследований и экспериментов по удалению знаний из языковых моделей. Карточка не описывает широкую языковую поддержку или качество на обычных прикладных задачах. Лицензия — Llama 3.2; применяются её условия.

Сценарии применения

  • исследование удаления знаний из языковой модели
  • оценка забывания фактов из набора TOFU forget10
  • сравнение методов unlearning на уровне весов
  • использование как черновой модели в speculative decoding для unlearning

Ограничения

Модель обучена для забывания данных конкретного раздела TOFU и предназначена как исследовательский базовый вариант; README не подтверждает её пригодность для общих пользовательских задач. Языковая поддержка отдельно не описана.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232моделиII.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

tofu_Llama-3.2-1B-Instruct_forget10_RMU

open-unlearning/tofu_Llama-3.2-1B-Instruct_full unlearned on the TOFU forget10 split with RMU, trained with the open-unlearning framework. Used as a weight-unlearning baseline / draft model in the Speculative-Decoding-Unlearning project.

Full training config: .hydra/config.yaml. TOFU evaluation outputs: evals/.

Method hyperparameters

gamma: 1.0
alpha: 1
retain_loss_type: EMBED_DIFF
steering_coeff: 1
module_regex: model\.layers\.5
trainable_params_regex: ['.*']

TOFU summary metrics

metricvalue
exact_memorization0.0281
extraction_strength0.0325
forget_Q_A_PARA_Prob0.0003
forget_Q_A_gibberish0.0582
forget_quality0.0000
forget_truth_ratio0.7402
mia_loss0.0362
mia_min_k0.0363
mia_min_k_plus_plus0.5210
mia_zlib0.0281
model_utility0.5546
privleak56.0917

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
762f78e

0 моделей

    Создать бенчмарк