Характеристики
- Контекст
- 77 токенов
- Лицензия
- MIT
- Библиотека
- open_clip
- Опубликована
- 11 апр 2023
Ссылки
eva02_enormous_patch14_plus_clip_224.laion2b_s9b_b144k
EVA-02 CLIP — модель timm для сопоставления изображений с текстовыми описаниями и классификации изображений без примеров.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Это модель EVA-02 в варианте CLIP, опубликованная организацией timm (PyTorch Image Models). Она предназначена для классификации изображений без примеров обучения на заданных категориях: изображение сопоставляется с текстовыми описаниями классов, а модель оценивает их соответствие. Модель использует архитектуру EVA-02 с патчами 14×14 и CLIP-подобное совместное представление изображений и текста; входной размер изображения — 224 пикселя. В названии указаны обучение на LAION-2B и вариант обучения s9b продолжительностью 144k шагов.
Модель принимает изображения и текстовые метки или описания, выдаёт оценки соответствия для выбора наиболее подходящей категории. Для использования предусмотрена библиотека OpenCLIP. Репозиторий распространяется по лицензии MIT. Карточка не приводит конкретный перечень поддерживаемых естественных языков; качество зависит от формулировки текстовых меток и состава данных обучения.
Сценарии применения
- классификация изображений по произвольным текстовым категориям
- поиск изображений по описанию
- сортировка изображений по соответствию заданной подписи
- создание эмбеддингов изображений и текста для сопоставления
Ограничения
Результат зависит от формулировок текстовых категорий и соответствия изображений данным обучения. Карточка не подтверждает поддержку конкретных языков.
Для каких профессий подходит8
Разделы каталога профессий, в задачах которых используется эта модель
Также подходит для
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · open_clip
Модели OpenCLIP требуют отдельного рантайма.
- Ревизия весов
- 0162f50