/ Модель

Характеристики

Контекст
77 токенов
Лицензия
MIT
Библиотека
open_clip
Опубликована
9 июн 2024

resnet50x16_clip.openai

Классификация изображений без дообученияИзображение, текст → label7 профессий

Мультимодальная модель OpenAI CLIP на архитектуре ResNet-50x16 для классификации изображений по текстовым описаниям без специального дообучения.

965скачиваний за 30 дней0лайковвеса обновлены27 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

resnet50x16_clip.openai — модель CLIP, разработанная OpenAI и опубликованная на Hugging Face организацией timm. Она сопоставляет изображения с текстовыми описаниями и предназначена, в частности, для классификации изображений по текстовым меткам без дообучения на конкретных классах. Архитектура включает модифицированный ResNet-50x16 для изображений и Transformer для текста; изображения обрабатываются в разрешении 384×384, длина текстового контекста — 77 токенов.

Модель принимает изображения и текстовые метки классов, а для классификации оценивает соответствие между ними. Веса доступны по лицензии MIT. В карточке OpenAI CLIP отмечено, что модель создана как исследовательский результат и её возможности следует оценивать с учётом контекста применения; классификация зависит от формулировок текстовых меток и может наследовать ограничения обучающих данных.

Сценарии применения

  • классификация изображений по заданному списку текстовых категорий
  • поиск изображений, соответствующих текстовому запросу
  • ранжирование описаний по сходству с изображением

Ограничения

Качество зависит от формулировок текстовых меток и состава обучающих данных. OpenAI указывает, что это исследовательская модель, и рекомендует оценивать её возможности для конкретного контекста применения.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model card for resnet50x16_clip

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · open_clip

Нельзя запустить

Модели OpenCLIP требуют отдельного рантайма.

Ревизия весов
a56966b

0 моделей