Модель CLIP ViT-L-14 сопоставляет изображения с текстовыми описаниями для zero-shot классификации без дообучения на заданных классах.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель timm/vit_large_patch14_clip_224.laion400m_e31 — модель CLIP с архитектурой Vision Transformer, разработанная для использования через open_clip и timm. В OpenCLIP она обозначена как ViT-L-14; при обучении использовался датасет LAION-400M.
Модель предназначена для классификации изображений по текстовым описаниям в режиме zero-shot: пользователь задаёт варианты классов словами, а модель сопоставляет их с изображением без отдельного дообучения на этих классах. Она принимает изображения и текстовые описания и формирует оценки сходства для выбора подходящего описания. Репозиторий содержит веса в форматах PyTorch и safetensors; лицензия — MIT.
Качество зависит от формулировки текстовых описаний и состава обучающих данных; модель может хуже работать на изображениях и категориях, отличающихся от данных LAION-400M. В карточке не приведены количественные оценки качества.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model is a dual use open_clip and timm model. Model name in OpenCLIP is ViT-L-14, and timm name is vit_large_patch14_clip_224.laion400m_e31.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · open_clip
Модели OpenCLIP требуют отдельного рантайма.