/ Модель

Характеристики

Контекст
77 токенов
Лицензия
MIT
Библиотека
open_clip
Опубликована
9 июн 2024

resnet50_clip.openai

Классификация изображений без дообученияИзображение, текст → label3 профессии

CLIP на базе ResNet-50 сопоставляет изображения с текстовыми категориями для классификации без специального дообучения.

30 943скачиваний за 30 дней2лайкавеса обновлены27 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

resnet50_clip.openai — модель CLIP, разработанная OpenAI и опубликованная в каталоге timm. Она предназначена для сопоставления изображений с текстовыми описаниями и классификации изображений без дообучения на заданных категориях: пользователь передаёт изображение и варианты текста, а модель оценивает их соответствие. Архитектура включает модифицированный ResNet-50 как визуальный энкодер и Transformer с masked self-attention как текстовый энкодер; всего 38,4 млн параметров.

Модель принимает изображения и английский текст, выдаёт оценки сходства между ними. Карточка OpenAI ограничивает предполагаемое использование исследованиями и рекомендует проверять модель на конкретной задаче; для развёртывания она не предназначена. К ограничениям относятся нестабильность результатов при смене формулировок и набора категорий, слабые результаты на тонкой классификации и подсчёте объектов, а также выявленные смещения. Репозиторий Hugging Face указывает лицензию MIT.

Сценарии применения

  • классификация изображения по списку текстовых категорий
  • поиск наиболее подходящего описания для изображения
  • сортировка изображений по текстовым запросам в исследовательском прототипе

Ограничения

OpenAI указывает, что модель предназначена для исследований, а не для развёртывания; качество зависит от формулировок и набора классов. Модель испытывает трудности с тонкой классификацией и подсчётом объектов, а также может проявлять смещения.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model card for resnet50_clip

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · open_clip

Нельзя запустить

Модели OpenCLIP требуют отдельного рантайма.

Ревизия весов
ec3d92c

0 моделей