CLIP-модель на базе ViT-H/14 для классификации изображений по текстовым меткам без дополнительного обучения.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Это вариант CLIP с визуальным энкодером ViT-H/14, обученный на наборе данных MetaCLIP-2.5B. Модель разработана для использования с библиотеками open_clip и timm; в OpenCLIP она называется ViT-H-14-quickgelu, а в timm — vit_huge_patch14_clip_224.metaclip_2pt5b.
Модель сопоставляет изображения с текстовыми описаниями и подходит для классификации изображений по произвольным текстовым меткам без отдельного обучения на этих классах. Её можно применять для поиска изображений по тексту и быстрой категоризации визуального содержимого. Репозиторий содержит веса PyTorch и safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческого характера.
Лицензия CC BY-NC 4.0 ограничивает коммерческое использование. Качество классификации зависит от формулировок текстовых меток и может быть ниже для изображений и категорий, отличающихся от данных обучения.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model is a dual use open_clip and timm model. Model name in OpenCLIP is ViT-H-14-quickgelu, and timm name is vit_huge_patch14_clip_224.metaclip_2pt5b.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · open_clip
Модели OpenCLIP требуют отдельного рантайма.