/ Модель

Характеристики

Лицензия
MIT
Библиотека
open_clip
Опубликована
23 фев 2024

fare2-clip

Классификация изображений без дообученияИзображение, текст → label3 профессии

FARE CLIP ViT-L/14 сопоставляет изображения с текстовыми метками для классификации без дополнительного обучения.

776скачиваний за 30 дней2лайкавеса обновлены16 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

FARE CLIP ViT-L/14 — модель для классификации изображений по текстовым описаниям с нулевым обучением. Она создана методом безучительного состязательного дообучения модели OpenAI CLIP на ImageNet с ограничением возмущения по норме бесконечности радиусом 2/255. Модель использует архитектуру CLIP ViT-L/14 и доступна в формате PyTorch через библиотеку open_clip; лицензия — MIT.

Модель сопоставляет изображение с текстовыми метками или описаниями и позволяет выбирать наиболее подходящий вариант без обучения отдельного классификатора на целевых классах. README не сообщает о языковом составе текстового энкодера и о длине контекста, поэтому эти характеристики не указываются.

Сценарии применения

  • классификация изображений по пользовательским меткам
  • поиск изображений по текстовым описаниям
  • отнесение изображений к категориям без обучения классификатора
  • проверка устойчивости CLIP к состязательным возмущениям

Ограничения

Дообучение проводилось на ImageNet с возмущениями радиусом 2/255, поэтому устойчивость за пределами этих условий не установлена. README не приводит количественных оценок качества или сведений о поддерживаемых языках.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

[Paper] [GitHub]

FARE CLIP ViT-L/14 model.

Unsupervised adversarial fine-tuning from Openai CLIP initialization on ImageNet with infinity-norm and radius 2/255.

Usage

model, _, image_processor = open_clip.create_model_and_transforms('hf-hub:chs20/fare2-clip')

Citation

If you find this model useful, please consider citing our paper:

@article{schlarmann2024robustclip,
    title={Robust CLIP: Unsupervised Adversarial Fine-Tuning of Vision Embeddings for Robust Large Vision-Language Models}, 
    author={Christian Schlarmann and Naman Deep Singh and Francesco Croce and Matthias Hein},
    year={2024},
    journal={ICML}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · open_clip

Нельзя запустить

Модели OpenCLIP требуют отдельного рантайма.

Ревизия весов
6bc37e8

0 моделей