/ Модель
Каталог

Характеристики

Размер весов
302 МБ
Лицензия
Apache 2.0
Библиотека
torch
Опубликована
1 ноя 2024

Ссылки

Hugging Face

sparse-autoencoder-clip-b-32-sae-vanilla-x64-layer-11-hook_mlp_out-l1-5e-05

Prisma-Multimodal
ЭмбеддингиТекст → embedding3 профессии

Разреженный автокодировщик Prisma-Multimodal извлекает признаки из активаций CLIP ViT-B/32 для анализа и исследований интерпретируемости.

1 218скачиваний за 30 дней0лайковвеса обновлены1 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это разреженный автокодировщик (SAE) Prisma-Multimodal для анализа активаций CLIP ViT-B/32. Он расширяет представление размерности 768 до 49 152 признаков с коэффициентом расширения x64 и использует ReLU. Модель предназначена для извлечения признаков и исследований интерпретируемости внутренних представлений CLIP.

В карточке указаны размер контекста 50 токенов, коэффициент L1 5e-05, разреженность L0 около 748 и объяснённая дисперсия 89,76%. Данные репозитория представлены в формате PyTorch. Лицензия — Apache-2.0. Показатели относятся к указанной конфигурации; README не описывает процедуры запуска или подробные ограничения применимости.

Сценарии применения

  • извлечение разреженных признаков из активаций CLIP
  • анализ внутренних представлений CLIP ViT-B/32
  • исследование интерпретируемости мультимодальной модели
  • изучение разреженности активаций нейросети

Ограничения

Модель рассчитана на анализ представлений CLIP ViT-B/32; указанный размер контекста составляет 50 токенов. README не приводит сравнительных оценок качества и подробных сведений о применении вне этой конфигурации.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443моделиII.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

CLIP-B-32 Sparse Autoencoder x64 vanilla - L1:5e-05

Explained Variance Sparsity

Training Details

  • Base Model: CLIP-ViT-B-32 (LAION DataComp.XL-s13B-b90K)
  • Layer: 11
  • Component: hook_mlp_out

Model Architecture

  • Input Dimension: 768
  • SAE Dimension: 49,152
  • Expansion Factor: x64 (vanilla architecture)
  • Activation Function: ReLU
  • Initialization: encoder_transpose_decoder
  • Context Size: 50 tokens

Performance Metrics

  • L1 Coefficient: 5e-05
  • L0 Sparsity: 747.7365
  • Explained Variance: 0.8976 (89.76%)

Training Configuration

  • Learning Rate: 0.0004
  • LR Scheduler: Cosine Annealing with Warmup (200 steps)
  • Epochs: 10
  • Gradient Clipping: 1.0
  • Device: NVIDIA Quadro RTX 8000

Experiment Tracking:

Citation

@misc{2024josephsparseautoencoders,
    title={Sparse Autoencoders for CLIP-ViT-B-32},
    author={Joseph, Sonia},
    year={2024},
    publisher={Prisma-Multimodal},
    url={https://huggingface.co/Prisma-Multimodal},
    note={Layer 11, hook_mlp_out, Run ID: fovh61fn}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · torch

Нельзя запустить

Архитектура ? неизвестна transformers в образе рантайма.

Ревизия весов
96dbef7

0 моделей

    Создать бенчмарк