Характеристики
- Контекст
- 77 токенов
- Лицензия
- MIT
- Библиотека
- open_clip
- Опубликована
- 10 апр 2023
Ссылки
eva02_large_patch14_clip_336.merged2b_s6b_b61k
EVA-02-CLIP сопоставляет изображения с текстовыми метками и подходит для классификации изображений без обучения на конкретном наборе классов.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
eva02_large_patch14_clip_336.merged2b_s6b_b61k — модель vision-language семейства EVA-02-CLIP, опубликованная командой timm в формате OpenCLIP. Она сопоставляет изображения и текстовые описания в общем пространстве признаков и предназначена, в частности, для классификации изображений без дополнительного обучения: пользователь задаёт названия классов текстом, а модель оценивает соответствие изображения этим описаниям.
Модель использует визуальный энкодер EVA-02 с архитектурой ViT-L/14 и разрешением изображений 336 пикселей, а также текстовый энкодер CLIP. Репозиторий содержит веса PyTorch и Safetensors и предназначен для работы через библиотеку OpenCLIP. Входы — изображение и текст; выходы — оценки сходства, которые можно использовать для ранжирования текстовых меток. Текстовый энкодер работает с английским языком; других поддерживаемых языков карточка модели не устанавливает.
Репозиторий распространяется по лицензии MIT. Известное ограничение: точность классификации зависит от выбранных текстовых описаний, а модель не является универсальным генератором подписей к изображениям или детектором объектов.
Сценарии применения
- классификация изображений по заданным текстом категориям
- поиск изображений по текстовому запросу
- ранжирование подписей по соответствию изображению
Ограничения
Результаты зависят от формулировок текстовых меток и запросов. Карточка не заявляет поддержку русского языка; модель предназначена для сопоставления изображений и текста, а не для генерации подписей или обнаружения объектов.
Для каких профессий подходит4
Разделы каталога профессий, в задачах которых используется эта модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · open_clip
Модели OpenCLIP требуют отдельного рантайма.
- Ревизия весов
- 4f62907