/ Модель

Характеристики

Контекст
77 токенов
Лицензия
MIT
Библиотека
open_clip
Опубликована
10 апр 2023

eva02_large_patch14_clip_336.merged2b_s6b_b61k

Классификация изображений без дообученияИзображение, текст → label4 профессии

EVA-02-CLIP сопоставляет изображения с текстовыми метками и подходит для классификации изображений без обучения на конкретном наборе классов.

11 962скачиваний за 30 дней2лайкавеса обновлены10 фев 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

eva02_large_patch14_clip_336.merged2b_s6b_b61k — модель vision-language семейства EVA-02-CLIP, опубликованная командой timm в формате OpenCLIP. Она сопоставляет изображения и текстовые описания в общем пространстве признаков и предназначена, в частности, для классификации изображений без дополнительного обучения: пользователь задаёт названия классов текстом, а модель оценивает соответствие изображения этим описаниям.

Модель использует визуальный энкодер EVA-02 с архитектурой ViT-L/14 и разрешением изображений 336 пикселей, а также текстовый энкодер CLIP. Репозиторий содержит веса PyTorch и Safetensors и предназначен для работы через библиотеку OpenCLIP. Входы — изображение и текст; выходы — оценки сходства, которые можно использовать для ранжирования текстовых меток. Текстовый энкодер работает с английским языком; других поддерживаемых языков карточка модели не устанавливает.

Репозиторий распространяется по лицензии MIT. Известное ограничение: точность классификации зависит от выбранных текстовых описаний, а модель не является универсальным генератором подписей к изображениям или детектором объектов.

Сценарии применения

  • классификация изображений по заданным текстом категориям
  • поиск изображений по текстовому запросу
  • ранжирование подписей по соответствию изображению

Ограничения

Результаты зависят от формулировок текстовых меток и запросов. Карточка не заявляет поддержку русского языка; модель предназначена для сопоставления изображений и текста, а не для генерации подписей или обнаружения объектов.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model card for eva02_large_patch14_clip_336.merged2b_s6b_b61k

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · open_clip

Нельзя запустить

Модели OpenCLIP требуют отдельного рантайма.

Ревизия весов
4f62907

0 моделей