CLIP-модель ViT-H/14 для классификации изображений по текстовым меткам без дообучения.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
timm/vit_huge_patch14_clip_378.metaclip2_worldwide — модель семейства CLIP с визуальным энкодером ViT-H/14 и размером входного изображения 378 пикселей. Она доступна для использования через open_clip и timm и предназначена для классификации изображений по текстовым описаниям без дообучения: модель сопоставляет изображение с кандидатными метками, заданными текстом. Вариант весов называется ViT-H-14-worldwide-378 с pretrained_tag metaclip2_worldwide и связан с MetaCLIP2.
Модель принимает изображения и текстовые метки, а выдаёт оценки сходства для выбора подходящей метки. Репозиторий содержит веса PyTorch в формате safetensors; лицензия CC BY-NC 4.0 ограничивает коммерческое использование. Сведения о языках и контексте в карточке отсутствуют, поэтому языковую поддержку не уточняю.
Лицензия CC BY-NC 4.0 не допускает коммерческое использование. Результаты зависят от формулировок текстовых меток и могут быть ненадёжны для категорий, отличающихся от данных обучения.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model is a dual use open_clip and timm model. Model name in OpenCLIP is ViT-H-14-worldwide-378, pretrained_tag=metaclip2_worldwide.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · open_clip
Модели OpenCLIP требуют отдельного рантайма.