Модель CLIP ViT-H-14 сопоставляет изображения с текстовыми метками для классификации без дообучения.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
timm/vit_huge_patch14_clip_224.metaclip_altogether — модель семейства CLIP, доступная для использования через open_clip и timm. Это двухкомпонентная архитектура ViT-H-14: визуальный энкодер сопоставляет изображения с текстовыми описаниями в общем пространстве представлений. В карточке указан вариант предобучения metaclip_altogether.
Модель предназначена для классификации изображений по текстовым меткам без специального дообучения под каждый набор классов. Её можно применять для поиска подходящей категории среди заданных описаний и для прототипирования задач распознавания изображений. Метаданные связывают её с задачей zero-shot-image-classification; доступны веса PyTorch в формате safetensors.
Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не приводит конкретные показатели качества или сведения о наборе Altogether, поэтому оценить точность для конкретных данных по имеющейся информации нельзя.
Карточка не содержит метрик качества и подробностей о данных Altogether, поэтому пригодность для конкретного домена требует отдельной оценки. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model is a dual use open_clip and timm model. Model name in OpenCLIP is ViT-H-14, pretrained_tag=metaclip_altogether.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · open_clip
Модели OpenCLIP требуют отдельного рантайма.