/ Модель

Характеристики

Лицензия
MIT
Библиотека
open_clip
Опубликована
23 фев 2024

fare4-clip

Классификация изображений без дообученияИзображение, текст → label3 профессии

FARE CLIP ViT-L/14 сопоставляет изображения с текстовыми метками для zero-shot классификации и дообучена для устойчивости к небольшим состязательным возмущениям.

865скачиваний за 30 дней1лайквеса обновлены16 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

FARE CLIP ViT-L/14 — модель сопоставления изображений и текста на основе CLIP, опубликованная chs20. Она получена несупервизируемым состязательным дообучением исходной OpenAI CLIP на ImageNet с ограничением возмущения по норме бесконечности радиусом 4/255. Модель предназначена для классификации изображений по текстовым описаниям в режиме zero-shot: пользователь передаёт изображение и варианты классов в текстовом виде, а модель оценивает соответствие между ними.

Модель использует архитектуру ViT-L/14 и распространяется в формате PyTorch; для загрузки и обработки изображений README указывает библиотеку open_clip. Состязательное дообучение ориентировано на устойчивость к небольшим состязательным изменениям входных изображений. Лицензия — MIT. Карточка не приводит отдельных измерений качества, сведений о поддерживаемых языках текста или ограничениях применения.

Сценарии применения

  • Классификация изображений по заданным текстовым меткам без обучения на этих классах
  • Поиск изображений по короткому текстовому описанию
  • Сравнение изображения с набором возможных категорий
  • Проверка устойчивости визуальной классификации к небольшим состязательным изменениям

Ограничения

Карточка не приводит количественных результатов качества или подробной оценки устойчивости. Поддерживаемые языки текстовых меток не перечислены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

[Paper] [GitHub]

FARE CLIP ViT-L/14 model.

Unsupervised adversarial fine-tuning from Openai CLIP initialization on ImageNet with infinity-norm and radius 4/255.

Usage

model, _, image_processor = open_clip.create_model_and_transforms('hf-hub:chs20/fare4-clip')

Citation

If you find this model useful, please consider citing our paper:

@article{schlarmann2024robustclip,
    title={Robust CLIP: Unsupervised Adversarial Fine-Tuning of Vision Embeddings for Robust Large Vision-Language Models}, 
    author={Christian Schlarmann and Naman Deep Singh and Francesco Croce and Matthias Hein},
    year={2024},
    journal={ICML}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · open_clip

Нельзя запустить

Модели OpenCLIP требуют отдельного рантайма.

Ревизия весов
8dff9a8

0 моделей