Модель CLIP на базе ViT-B/32 сопоставляет изображения с текстовыми описаниями для классификации без дополнительного обучения и поиска по смыслу.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Это модель CLIP с визуальным энкодером Vision Transformer (ViT-B/32), обученная на наборе данных LAION-400M. Она доступна для использования через open_clip и timm; вариант open_clip называется ViT-B-32-quickgelu. Модель сопоставляет изображения и текстовые описания, поэтому подходит для классификации изображений по текстовым меткам без дополнительного обучения и поиска изображений по смысловым запросам. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — MIT.
Качество сопоставления зависит от формулировок текстовых меток и охвата обучающих данных; сведения о контекстном окне и языковой поддержке в предоставленных источниках отсутствуют.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model is a dual use open_clip and timm model. Model name in OpenCLIP is ViT-B-32-quickgelu, and timm name is vit_base_patch32_clip_224.laion400m_e31.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · open_clip
Модели OpenCLIP требуют отдельного рантайма.