CLIP-модель на базе ViT-B-16-plus-240 для сопоставления изображений с текстовыми метками и классификации без дообучения.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель timm/vit_base_patch16_plus_clip_240.laion400m_e32 разработана для экосистем open_clip и timm. Это вариант CLIP с архитектурой ViT-B-16-plus-240, обученный на наборе изображений и текстов LAION-400M. Она сопоставляет изображения с текстовыми описаниями и подходит для классификации изображений по заданным пользователем категориям без отдельного обучения классификатора. Репозиторий содержит веса в форматах PyTorch и safetensors; лицензия — MIT.
Модель принимает изображения и текстовые метки классов, а для классификации выдаёт оценки соответствия изображения каждой метке. Данных о контекстном окне или поддерживаемых естественных языках в предоставленной карточке нет.
Точность зависит от формулировок текстовых меток и распределения данных; модель обучена на LAION-400M, поэтому может наследовать ограничения и смещения этого набора. Предоставленная карточка не сообщает о поддерживаемых языках.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model is a dual use open_clip and timm model. Model name in OpenCLIP is ViT-B-16-plus-240, and timm name is vit_base_patch16_plus_clip_240.laion400m_e32.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · open_clip
Модели OpenCLIP требуют отдельного рантайма.