CLIP ViT-B/16 на LAION-400M сопоставляет изображения с текстовыми описаниями для классификации по заданным меткам без дообучения.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Это модель CLIP с визуальным энкодером ViT-B/16, обученная на наборе LAION-400M. Её подготовили для использования в экосистемах open_clip и timm; она сопоставляет изображения и текстовые описания в общем пространстве признаков.
Модель предназначена для классификации изображений по текстовым меткам без отдельного обучения на этих классах: пользователь задаёт варианты описаний, а модель оценивает их соответствие изображению. Её также можно применять для получения признаковых представлений изображений и текста в совместимом пайплайне CLIP. Размер входного изображения в названии модели — 224 пикселя; точные параметры контекста текста в доступной карточке не приведены.
Репозиторий содержит веса PyTorch и safetensors. Лицензия — MIT. Описание карточки не сообщает об ограничениях качества, языковой специализации или подробных режимах применения; результаты могут зависеть от формулировок текстовых меток и состава обучающих данных.
Карточка не описывает языковую специализацию модели и не приводит измерений качества; результаты зависят от выбора и формулировки текстовых меток.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model is a dual use open_clip and timm model. Model name in OpenCLIP is ViT-B-16, and timm name is vit_base_patch16_clip_224.laion400m_e31.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · open_clip
Модели OpenCLIP требуют отдельного рантайма.