/ Модель

Характеристики

Лицензия
MIT
Библиотека
open_clip
Опубликована
23 фев 2024

tecoa2-clip

Классификация изображений без дообученияИзображение, текст → label3 профессии

Состязательно дообученная модель CLIP ViT-L/14 для классификации изображений по текстовым меткам без специального обучения на целевых классах.

606скачиваний за 30 дней1лайквеса обновлены16 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

chs20/tecoa2-clip — модель CLIP ViT-L/14 из семейства TeCoA, разработанного по работе Mao et al. (2023). Она получена состязательным дообучением исходной модели OpenAI CLIP на ImageNet с ограничением возмущения по норме бесконечности радиусом 2/255. Модель предназначена для классификации изображений по текстовым описаниям без специального дообучения на каждом наборе классов: пользователь передаёт изображение и варианты текстовых меток, а модель оценивает их соответствие.

Модель работает с изображениями и текстом и распространяется в формате PyTorch; для загрузки и обработки изображений используется библиотека open_clip. Состязательное дообучение повышает устойчивость к небольшим состязательным изменениям изображений. Лицензия — MIT.

Качество зависит от формулировок текстовых меток и распределения данных; дообучение проводилось на ImageNet, поэтому специализация на других областях не заявлена.

Сценарии применения

  • классификация изображений по пользовательским текстовым меткам
  • поиск изображений, соответствующих описанию
  • сравнение изображения с набором текстовых категорий

Ограничения

Дообучение выполнено на ImageNet, поэтому качество на специализированных или существенно отличающихся данных может быть ниже. Результаты зависят от формулировок текстовых меток.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

[Paper] [GitHub]

TeCoA (Mao et al. (2023)) CLIP ViT-L/14 model.

Supervised adversarial fine-tuning from Openai CLIP initialization on ImageNet with infinity-norm and radius 2/255.

Usage

model, _, image_processor = open_clip.create_model_and_transforms('hf-hub:chs20/tecoa2-clip')

Citation

If you find this model useful, please consider citing our paper:

@article{schlarmann2024robustclip,
    title={Robust CLIP: Unsupervised Adversarial Fine-Tuning of Vision Embeddings for Robust Large Vision-Language Models}, 
    author={Christian Schlarmann and Naman Deep Singh and Francesco Croce and Matthias Hein},
    year={2024},
    journal={ICML}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · open_clip

Нельзя запустить

Модели OpenCLIP требуют отдельного рантайма.

Ревизия весов
8e043fb

0 моделей