CLIP-модель ViT-B/16-plus, обученная на LAION-400M, сопоставляет изображения с текстовыми метками для классификации без дообучения.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
timm/vit_base_patch16_plus_clip_240.laion400m_e31 — модель семейства CLIP с архитектурой ViT-B/16-plus и разрешением изображения 240 пикселей. Она обучена на наборе LAION-400M и доступна для использования через open_clip и timm. Модель сопоставляет изображения и текстовые описания, поэтому подходит для классификации изображений по текстовым меткам без отдельного дообучения на этих метках.
Модель принимает изображения и текстовые варианты классов, а для классификации оценивает их соответствие. Веса опубликованы в форматах PyTorch и safetensors; лицензия — MIT. Карточка не приводит подробностей об ограничениях точности, языковом охвате или длине контекста.
Результаты зависят от формулировок текстовых меток и распределения данных; карточка не сообщает измеренные показатели качества. Языковая поддержка явно не описана.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model is a dual use open_clip and timm model. Model name in OpenCLIP is ViT-B-16-plus-240, and timm name is vit_base_patch16_plus_clip_240.laion400m_e31.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · open_clip
Модели OpenCLIP требуют отдельного рантайма.