/ Модель

Характеристики

Контекст
77 токенов
Лицензия
MIT
Библиотека
open_clip
Опубликована
11 апр 2023

eva02_enormous_patch14_plus_clip_224.laion2b_s9b_b144k

Классификация изображений без дообученияИзображение, текст → label8 профессий

EVA-02 CLIP — модель timm для сопоставления изображений с текстовыми описаниями и классификации изображений без примеров.

25 207скачиваний за 30 дней7лайковвеса обновлены10 фев 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это модель EVA-02 в варианте CLIP, опубликованная организацией timm (PyTorch Image Models). Она предназначена для классификации изображений без примеров обучения на заданных категориях: изображение сопоставляется с текстовыми описаниями классов, а модель оценивает их соответствие. Модель использует архитектуру EVA-02 с патчами 14×14 и CLIP-подобное совместное представление изображений и текста; входной размер изображения — 224 пикселя. В названии указаны обучение на LAION-2B и вариант обучения s9b продолжительностью 144k шагов.

Модель принимает изображения и текстовые метки или описания, выдаёт оценки соответствия для выбора наиболее подходящей категории. Для использования предусмотрена библиотека OpenCLIP. Репозиторий распространяется по лицензии MIT. Карточка не приводит конкретный перечень поддерживаемых естественных языков; качество зависит от формулировки текстовых меток и состава данных обучения.

Сценарии применения

  • классификация изображений по произвольным текстовым категориям
  • поиск изображений по описанию
  • сортировка изображений по соответствию заданной подписи
  • создание эмбеддингов изображений и текста для сопоставления

Ограничения

Результат зависит от формулировок текстовых категорий и соответствия изображений данным обучения. Карточка не подтверждает поддержку конкретных языков.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model card for eva02_enormous_patch14_plus_clip_224.laion2b_s9b_b144k

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · open_clip

Нельзя запустить

Модели OpenCLIP требуют отдельного рантайма.

Ревизия весов
0162f50

0 моделей