CLIP-модель ViT-B/32 для классификации изображений по текстовым меткам и сопоставления изображений с описаниями без дополнительного обучения.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Это модель CLIP семейства ViT-B/32, опубликованная в репозитории timm и обученная на наборе LAION-400M. Она совместима с open_clip и timm; вариант в OpenCLIP называется ViT-B-32-quickgelu. Модель сопоставляет изображения и текст в общем пространстве признаков, поэтому подходит для классификации изображений по текстовым описаниям без отдельного обучения на каждом наборе классов.
Модель можно применять для поиска изображений по тексту и первичной категоризации изображений с помощью заранее заданных текстовых меток. Она принимает изображения и текстовые описания и выдаёт оценки соответствия между ними. Репозиторий содержит веса PyTorch и Safetensors; лицензия — MIT. Карточка не сообщает размер модели, длину контекста или список поддерживаемых языков.
Модель основана на сопоставлении текста и изображений и может ошибаться на необычных изображениях или описаниях, отличающихся от данных обучения. Карточка не приводит результатов оценки качества и сведений о языковом охвате.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model is a dual use open_clip and timm model. Model name in OpenCLIP is ViT-B-32-quickgelu, and timm name is vit_base_patch32_clip_224.laion400m_e32.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · open_clip
Модели OpenCLIP требуют отдельного рантайма.