/ Модель

Характеристики

Контекст
131 072 токена
Параметры
7,5 млрд
Размер весов
16,1 ГБ
Архитектура
llama · dense
Базовая модель
Llama-3.1-8B-Instruct
Библиотека
transformers
Опубликована
2 авг 2026

llama-3.1-8b-instruct-snmf-uranium

Генерация текстаТекст → текст3 профессии

Экспериментальный чекпойнт Llama 3.1 8B Instruct с применённым SNMF-unlearning для ослабления ответов об уране и изучения машинного забывания.

18скачиваний за 30 дней0лайковвеса обновлены10 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

shirasko/llama-3.1-8b-instruct-snmf-uranium — экспериментальный чекпойнт языковой модели, созданный на основе meta-llama/Llama-3.1-8B-Instruct методом unlearning SNMF. Он предназначен для генерации текста и диалогов, при этом обучение направлено на ослабление ответов, связанных с ураном. Модель содержит 7,5 млрд параметров, использует плотную архитектуру Llama и формат Safetensors; базовая модель поддерживает контекст до 131 072 токенов.

В тестовой оценке после unlearning эффективность удаления целевого знания составила 1, а специфичность — 0,541; точность на QA снизилась с 0,80 до 0,18, а на SimDom — с 0,68 до 0,42. Эти результаты указывают на заметное ухудшение ответов и вне целевой темы, поэтому чекпойнт подходит прежде всего для изучения методов машинного забывания, а не для надёжного повседневного использования. Язык карточки — английский. Сведения о лицензии чекпойнта отсутствуют; условия базовой модели следует учитывать отдельно.

Сценарии применения

  • изучение удаления целевых знаний из языковой модели
  • оценка методов machine unlearning на теме урана
  • сравнение качества ответов до и после unlearning

Ограничения

После unlearning заметно снизились показатели QA и SimDom, что указывает на побочное ухудшение ответов вне целевой темы. Лицензия чекпойнта в предоставленных данных не указана.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Unlearned Checkpoint

FieldValue
Unlearning methodSNMF
Base modelmeta-llama/Llama-3.1-8B-Instruct
Target conceptUranium
Checkpoint typeFull Model Weights
Rank / seed200 / 42
Train eval protocolmc

Unlearning Configuration

Selected hyperparameters (from unlearned_checkpoints.json):

ParameterValue
coverage_thresh0.95
delta_embed0
delta_in7
delta_out7
feature_sourceall
k_features_embed0
k_features_mlp_in60
k_features_mlp_out33
layer_hi_in16
layer_hi_out21
layer_lo_in0
layer_lo_out11
n_tokens_edited0
ratio_thresh2
w_modeboth

Primary Unlearning Metrics (held-out test, MC protocol)

Headline scores used for checkpoint selection:

MetricTrain (after unlearning)Test (after unlearning)
Efficacy11
Specificity0.6990.541
Harmonic mean0.8230.702
Relearning QA (MC)—0.36

Full Evaluation (baseline → unlearned)

From evaluation/score_comparison.csv:

MetricBaseline (train)After unlearn (train)Baseline (test)After unlearn (test)
QA accuracy0.760.10.80.18
QA fraction1010
SimDom accuracy0.720.520.680.42
SimDom fraction10.57410.395
MMLU accuracy0.620.580.650.593
MMLU fraction10.89210.857

Files in This Repository

FileDescription
unlearned_checkpoints.jsonCheckpoint metadata & hyperparameters
evaluation/evaluation_summary.jsonFull evaluation payload (train/test/relearning)
evaluation/score_comparison.csvBaseline vs. unlearned comparison table

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
7e72f05

0 моделей