Характеристики
- Контекст
- 77 токенов
- Лицензия
- MIT
- Библиотека
- open_clip
- Опубликована
- 9 июн 2024
Ссылки
resnet50x4_clip.openai
Модель CLIP на базе ResNet-50x4 сопоставляет изображения с текстовыми описаниями для классификации по заданным меткам без дообучения.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
resnet50x4_clip.openai — модель CLIP с визуальным энкодером ResNet-50x4, распространяемая PyTorch Image Models (timm) в формате OpenCLIP. Она сопоставляет изображения и текстовые описания в общем пространстве признаков; модель предназначена, в частности, для классификации изображений по произвольным текстовым меткам без отдельного обучения на этих метках. Веса содержат 87,2 млн параметров и доступны в формате safetensors с точностью F32.
Модель принимает изображения и текстовые запросы, а для классификации оценивает соответствие изображения предложенным описаниям. Её можно применять для поиска изображений по тексту и извлечения совместимых визуальных и текстовых признаков. Для загрузки предусмотрена библиотека OpenCLIP. Указанная лицензия репозитория — MIT; в доступных сведениях не приведены длина контекста или перечень поддерживаемых языков.
Сценарии применения
- классификация изображений по текстовым меткам без дообучения
- поиск изображений по текстовому описанию
- ранжирование описаний по соответствию изображению
Ограничения
Результат классификации зависит от формулировок предложенных текстовых меток и описаний. Источники не указывают список поддерживаемых языков текста или длину контекста.
Для каких профессий подходит8
Разделы каталога профессий, в задачах которых используется эта модель
Также подходит для
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · open_clip
Модели OpenCLIP требуют отдельного рантайма.
- Ревизия весов
- b4f04ca