/ Модель
Каталог

Характеристики

Лицензия
Apache 2.0
Библиотека
torch
Опубликована
1 ноя 2024

Ссылки

Hugging Face

sparse-autoencoder-clip-b-32-sae-vanilla-x64-layer-5-hook_mlp_out-l1-0.0001

Prisma-Multimodal
ЭмбеддингиТекст → embedding3 профессии

Разреженный автоэнкодер Prisma-Multimodal извлекает разреженные признаки из активаций CLIP ViT-B/32 для анализа и интерпретации представлений.

160скачиваний за 30 дней0лайковвеса обновлены1 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это разреженный автоэнкодер (SAE) Prisma-Multimodal для анализа признаков в представлениях CLIP ViT-B/32. Модель принимает векторные активации размерности 768 и кодирует их в разреженное представление размерности 49 152 с коэффициентом расширения 64; используется архитектура vanilla SAE с активацией ReLU. Контекст указан как 50 токенов.

Модель предназначена для извлечения признаков и исследований интерпретируемости представлений CLIP, включая механистическую интерпретируемость. В README приведены L1-коэффициент 0,0001, средняя разреженность L0 около 368 и объяснённая дисперсия 76,78%. Лицензия репозитория — Apache-2.0. Описание не указывает процедуру подачи данных или ограничения применимости.

Сценарии применения

  • извлечение разреженных признаков из активаций CLIP
  • анализ внутренних представлений CLIP ViT-B/32
  • исследование механистической интерпретируемости зрительной модели
  • сравнение и визуализация нейронных признаков CLIP

Ограничения

Модель описана для активаций размерности 768 и контекста 50 токенов; README не приводит оценок качества на независимых задачах или подробностей совместимого интерфейса подачи входов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443моделиII.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

CLIP-B-32 Sparse Autoencoder x64 vanilla - L1:0.0001

Explained Variance Sparsity

Training Details

  • Base Model: CLIP-ViT-B-32 (LAION DataComp.XL-s13B-b90K)
  • Layer: 5
  • Component: hook_mlp_out

Model Architecture

  • Input Dimension: 768
  • SAE Dimension: 49,152
  • Expansion Factor: x64 (vanilla architecture)
  • Activation Function: ReLU
  • Initialization: encoder_transpose_decoder
  • Context Size: 50 tokens

Performance Metrics

  • L1 Coefficient: 0.0001
  • L0 Sparsity: 368.3149
  • Explained Variance: 0.7678 (76.78%)

Training Configuration

  • Learning Rate: 0.0004
  • LR Scheduler: Cosine Annealing with Warmup (200 steps)
  • Epochs: 10
  • Gradient Clipping: 1.0
  • Device: NVIDIA Quadro RTX 8000

Experiment Tracking:

Citation

@misc{2024josephsparseautoencoders,
    title={Sparse Autoencoders for CLIP-ViT-B-32},
    author={Joseph, Sonia},
    year={2024},
    publisher={Prisma-Multimodal},
    url={https://huggingface.co/Prisma-Multimodal},
    note={Layer 5, hook_mlp_out, Run ID: 7orlsov5}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · torch

Нельзя запустить

Архитектура ? неизвестна transformers в образе рантайма.

Ревизия весов
a5aded7

0 моделей

    Создать бенчмарк