Характеристики

Контекст: 32 768 токенов
Параметры: 1,5 млрд
Размер весов: 3,1 ГБ
Лицензия: Apache 2.0
Архитектура: qwen2 · dense
Базовая модель: Qwen2.5-1.5B-Instruct
Библиотека: transformers
Опубликована: 10 июл 2026

Ссылки

Qwen2.5-1.5B-Instruct-NLA-L18-av

Генерация текстаТекст → текст3 профессии

Вербализатор активаций слоя 18 Qwen2.5-1.5B-Instruct, преобразующий внутренние представления Natural Language Autoencoder в текст.

66скачиваний за 30 дней0лайковвеса обновлены9 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель Qwen2.5-1.5B-Instruct NLA L18 Activation Verbalizer разработана как декодирующая часть Natural Language Autoencoder для активаций языковой модели Qwen2.5-1.5B-Instruct. Она обучена на остаточном потоке слоя 18 и предназначена для преобразования внутренних активаций модели в текст. Для работы нужны активации `hidden_states[18]` базовой модели — выход блока 18 до финальной нормализации; их следует передавать без предварительной обработки, поскольку нормализация и масштабирование выполняются на этапе внедрения.

Репозиторий содержит веса в формате safetensors, а лицензия — Apache-2.0. Это специализированный компонент анализа внутренних представлений, а не самостоятельная модель для обычного диалога или генерации текста по пользовательскому запросу.

Сценарии применения

интерпретация активаций остаточного потока слоя 18 Qwen2.5
преобразование скрытых состояний языковой модели в текст
анализ внутренних представлений Qwen2.5 в экспериментах по интерпретируемости

Ограничения

Компонент требует активации `hidden_states[18]` именно базовой модели Qwen2.5-1.5B-Instruct и корректного внедрения с нормализацией и масштабированием; сам по себе он не предназначен для обычного диалога. В README не приведены оценки качества или подробности режима обучения.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen2.5-1.5B-Instruct NLA L18 Activation Verbalizer

The activation verbalizer of a Natural Language Autoencoder trained on the layer-18 residual stream of Qwen/Qwen2.5-1.5B-Instruct. See https://transformer-circuits.pub/2026/nla/, and https://github.com/kitft/natural_language_autoencoders

Activation Reconstructor:dormantx/Qwen2.5-1.5B-Instruct-NLA-L18-ar.

Usage

import torch, torch.nn.functional as F, yaml
from huggingface_hub import hf_hub_download
from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "dormantx/Qwen2.5-1.5B-Instruct-NLA-L18-av"
meta = yaml.safe_load(open(hf_hub_download(repo, "nla_meta.yaml")))
tok = AutoTokenizer.from_pretrained(repo)
av = AutoModelForCausalLM.from_pretrained(repo, torch_dtype=torch.bfloat16).cuda().eval()

prompt = meta["prompt_templates"]["av"].format(injection_char=meta["tokens"]["injection_char"])
ids = tok(prompt, add_special_tokens=False)["input_ids"]
slot = ids.index(meta["tokens"]["injection_token_id"])
emb = av.get_input_embeddings()(torch.tensor(ids).cuda()[None]).clone()

act = ...  # a raw layer-18 residual-stream activation, i.e. hidden_states[18], shape [1536]
emb[:, slot] = F.normalize(act, dim=-1).to(emb.dtype) * meta["extraction"]["injection_scale"]
out = av.generate(inputs_embeds=emb,
                  attention_mask=torch.ones(emb.shape[:2], device=emb.device),
                  max_new_tokens=32, do_sample=False)
print(tok.decode(out[0], skip_special_tokens=True))

Activations must come from hidden_states[18] of the base model (output of block 18, before the final norm) and be passed raw — the injection step does the normalising and rescaling.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen2ForCausalLM
Ревизия весов: 4597a92