/ Модель
Каталог

Характеристики

Лицензия
Apache 2.0
Библиотека
torch
Опубликована
1 ноя 2024

Ссылки

Hugging Face

sparse-autoencoder-clip-b-32-sae-vanilla-x64-layer-8-hook_mlp_out-l1-0.0001

Prisma-Multimodal
ЭмбеддингиТекст → embedding3 профессии

Разреженный автоэнкодер Prisma-Multimodal извлекает признаки из активаций CLIP ViT-B/32 для анализа и интерпретируемости.

156скачиваний за 30 дней0лайковвеса обновлены1 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это разреженный автоэнкодер Prisma-Multimodal для анализа признаков CLIP ViT-B/32. Модель принимает представления размерности 768 и кодирует их в пространство из 49 152 признаков с коэффициентом расширения x64 и активацией ReLU. Указанный контекст составляет 50 токенов.

Автоэнкодер предназначен для извлечения признаков и исследований интерпретируемости, в частности анализа активаций слоя 8 CLIP на точке hook_mlp_out. Для версии указаны коэффициент L1 0,0001, разреженность L0 96,6665 и объяснённая дисперсия 80,06%. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0. Это вспомогательная модель для анализа представлений, а не самостоятельная модель генерации текста или изображений.

Сценарии применения

  • извлечение разреженных признаков из активаций CLIP
  • анализ представлений слоя 8 CLIP ViT-B/32
  • исследование интерпретируемости мультимодальной модели
  • восстановление активаций через разреженное кодирование

Ограничения

Модель предназначена для анализа активаций CLIP и сама по себе не выполняет генерацию текста или изображений. Указанные метрики характеризуют разреженное представление и восстановление, но не сообщают о качестве на прикладных задачах.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443моделиII.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

CLIP-B-32 Sparse Autoencoder x64 vanilla - L1:0.0001

Explained Variance Sparsity

Training Details

  • Base Model: CLIP-ViT-B-32 (LAION DataComp.XL-s13B-b90K)
  • Layer: 8
  • Component: hook_mlp_out

Model Architecture

  • Input Dimension: 768
  • SAE Dimension: 49,152
  • Expansion Factor: x64 (vanilla architecture)
  • Activation Function: ReLU
  • Initialization: encoder_transpose_decoder
  • Context Size: 50 tokens

Performance Metrics

  • L1 Coefficient: 0.0001
  • L0 Sparsity: 96.6665
  • Explained Variance: 0.8006 (80.06%)

Training Configuration

  • Learning Rate: 0.0004
  • LR Scheduler: Cosine Annealing with Warmup (200 steps)
  • Epochs: 10
  • Gradient Clipping: 1.0
  • Device: NVIDIA Quadro RTX 8000

Experiment Tracking:

Citation

@misc{2024josephsparseautoencoders,
    title={Sparse Autoencoders for CLIP-ViT-B-32},
    author={Joseph, Sonia},
    year={2024},
    publisher={Prisma-Multimodal},
    url={https://huggingface.co/Prisma-Multimodal},
    note={Layer 8, hook_mlp_out, Run ID: 6e35x7io}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · torch

Нельзя запустить

Архитектура ? неизвестна transformers в образе рантайма.

Ревизия весов
2686cd0

0 моделей

    Создать бенчмарк