/ Модель

Характеристики

Лицензия
MIT
Библиотека
open_clip
Опубликована
23 фев 2024

tecoa4-clip

Классификация изображений без дообученияИзображение, текст → label4 профессии

CLIP ViT-L/14 с состязательным дообучением на ImageNet для классификации изображений по текстовым меткам без обучения под конкретный набор классов.

640скачиваний за 30 дней1лайквеса обновлены16 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

chs20/tecoa4-clip — модель CLIP ViT-L/14, опубликованная пользователем chs20 и предназначенная для классификации изображений по текстовым описаниям без дообучения на каждом наборе классов. Она сопоставляет изображения и текстовые метки, позволяя задавать категории естественным языком. Модель создана дообучением с учителем и состязательным обучением на ImageNet от исходной модели OpenAI CLIP; при обучении использовалась норма L∞ с радиусом 4/255.

Модель работает с изображениями и текстом и доступна в формате PyTorch через библиотеку open_clip. Состязательное дообучение направлено на устойчивость к небольшим возмущениям входного изображения, однако README не приводит метрик качества и не уточняет пределы такой устойчивости. Лицензия — MIT.

Сценарии применения

  • классификация изображений по заданным текстовым категориям
  • поиск изображений по текстовому описанию через сопоставление текста и изображения
  • проверка устойчивости классификации к небольшим возмущениям изображений

Ограничения

README не сообщает метрики качества или подробности оценки устойчивости, поэтому ожидаемые результаты для конкретных наборов данных не установлены.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

[Paper] [GitHub]

TeCoA (Mao et al. (2023)) CLIP ViT-L/14 model.

Supervised adversarial fine-tuning from Openai CLIP initialization on ImageNet with infinity-norm and radius 4/255.

Usage

model, _, image_processor = open_clip.create_model_and_transforms('hf-hub:chs20/tecoa4-clip')

Citation

If you find this model useful, please consider citing our paper:

@article{schlarmann2024robustclip,
    title={Robust CLIP: Unsupervised Adversarial Fine-Tuning of Vision Embeddings for Robust Large Vision-Language Models}, 
    author={Christian Schlarmann and Naman Deep Singh and Francesco Croce and Matthias Hein},
    year={2024},
    journal={ICML}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · open_clip

Нельзя запустить

Модели OpenCLIP требуют отдельного рантайма.

Ревизия весов
d9d201c

0 моделей