/ Модель

Характеристики

Контекст
77 токенов
Лицензия
MIT
Библиотека
open_clip
Опубликована
23 окт 2024

vit_base_patch32_clip_224.laion2b_e16

Классификация изображений без дообученияИзображение, текст → label8 профессий

CLIP ViT-B-32 на данных LAION-2B сопоставляет изображения с текстом для классификации без дообучения и поиска по описанию.

982скачиваний за 30 дней0лайковвеса обновлены23 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это модель CLIP с архитектурой ViT-B-32, обученная на данных LAION-2B и доступная для использования через open_clip и timm. Она сопоставляет изображения и текстовые описания в общем пространстве признаков, поэтому подходит для классификации изображений по текстовым меткам без дополнительного дообучения и поиска изображений по описанию. Модель принимает изображения и текст, а выдаёт векторные представления и оценки сходства; размер входного изображения соответствует варианту CLIP 224.

Модель предназначена для сценариев, где классы можно задать текстовыми формулировками: например, для быстрой классификации изображений или прототипа поиска по визуальному содержимому. Лицензия — MIT. Ограничение: качество зависит от формулировок текстовых меток и распределения данных; сведения о поддерживаемых естественных языках в карточке модели не приведены.

Сценарии применения

  • классификация изображений по текстовым меткам без обучения
  • поиск изображений по текстовому описанию
  • сопоставление изображения с несколькими подписями
  • извлечение эмбеддингов изображений и текста для поиска

Ограничения

Качество зависит от формулировок текстовых меток и данных, на которых модель обучена. Сведения о поддерживаемых естественных языках в карточке модели отсутствуют.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model card for vit_base_patch32_clip_224.laion2b_e16

Model Details

  • dataset: LAION-2B

Model Usage

This model is a dual use open_clip and timm model. Model name in OpenCLIP is ViT-B-32, and timm name is vit_base_patch32_clip_224.laion2b_e16.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · open_clip

Нельзя запустить

Модели OpenCLIP требуют отдельного рантайма.

Ревизия весов
825e019

0 моделей