/ Модель
Каталог

Характеристики

Лицензия
Apache 2.0
Библиотека
torch
Опубликована
1 ноя 2024

Ссылки

Hugging Face

sparse-autoencoder-clip-b-32-sae-vanilla-x64-layer-2-hook_mlp_out-l1-8e-05

Prisma-Multimodal
ЭмбеддингиТекст → embedding3 профессии

Разреженный автоэнкодер для извлечения интерпретируемых признаков из активаций CLIP ViT-B/32.

169скачиваний за 30 дней0лайковвеса обновлены1 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это разреженный автоэнкодер (SAE) Prisma-Multimodal для анализа активаций CLIP ViT-B/32 на выходе MLP-слоя 2. Он принимает признаки размерности 768 и преобразует их в разреженное представление размерности 49 152 с коэффициентом расширения x64 и активацией ReLU. Модель предназначена для извлечения и исследования признаков в задачах механистической интерпретируемости.

В карточке указаны контекст в 50 токенов, коэффициент L1 8e-05, средняя разреженность L0 около 390 и объяснённая дисперсия 85%. Веса доступны в формате PyTorch по лицензии Apache-2.0. Карточка не описывает процедуру применения SAE к изображениям или тексту; модель работает с активациями базовой CLIP-модели.

Сценарии применения

  • извлечение разреженных признаков из активаций CLIP
  • анализ выхода MLP-слоя 2 CLIP ViT-B/32
  • исследование внутренних представлений CLIP
  • механистическая интерпретируемость мультимодальных моделей

Ограничения

Модель предназначена для преобразования активаций CLIP и сама по себе не выполняет распознавание изображений или генерацию текста. Описанные метрики относятся к конфигурации SAE; карточка не приводит оценок на прикладных задачах.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.13Универсальные способностиСимуляция, моделирование и открытие новогоAI помогает исследовать сложные системы, проверять сценарии и искать новые конструкции, закономерности или гипотезы.18 задач1 577моделейII.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

CLIP-B-32 Sparse Autoencoder x64 vanilla - L1:8e-05

Explained Variance Sparsity

Training Details

  • Base Model: CLIP-ViT-B-32 (LAION DataComp.XL-s13B-b90K)
  • Layer: 2
  • Component: hook_mlp_out

Model Architecture

  • Input Dimension: 768
  • SAE Dimension: 49,152
  • Expansion Factor: x64 (vanilla architecture)
  • Activation Function: ReLU
  • Initialization: encoder_transpose_decoder
  • Context Size: 50 tokens

Performance Metrics

  • L1 Coefficient: 8e-05
  • L0 Sparsity: 390.0013
  • Explained Variance: 0.8500 (85.00%)

Training Configuration

  • Learning Rate: 0.0004
  • LR Scheduler: Cosine Annealing with Warmup (200 steps)
  • Epochs: 10
  • Gradient Clipping: 1.0
  • Device: NVIDIA Quadro RTX 8000

Experiment Tracking:

Citation

@misc{2024josephsparseautoencoders,
    title={Sparse Autoencoders for CLIP-ViT-B-32},
    author={Joseph, Sonia},
    year={2024},
    publisher={Prisma-Multimodal},
    url={https://huggingface.co/Prisma-Multimodal},
    note={Layer 2, hook_mlp_out, Run ID: xoqav7zs}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · torch

Нельзя запустить

Архитектура ? неизвестна transformers в образе рантайма.

Ревизия весов
d796e0f

0 моделей

    Создать бенчмарк