Классификация изображений без дообученияИзображение, текст → label3 профессии
Производная модели openai/clip-vit-large-patch14-336. CLIP сопоставляет изображения с текстовыми описаниями для классификации по заданным пользователем категориям без отдельного обучения.
113скачиваний за 30 дней0лайковвеса обновлены27 дек 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Карточка модели AnasMohamed/video-llava на Hugging Face совпадает с карточкой openai/clip-vit-large-patch14-336, поэтому описание составлено по ней.
openai/clip-vit-large-patch14-336 — модель семейства CLIP на архитектуре CLIPModel, доступная в форматах PyTorch и TensorFlow. Она предназначена для классификации изображений по текстовым описаниям без отдельного обучения на каждом наборе классов: пользователь задаёт варианты текста, а модель сопоставляет их с изображением.
README утверждает, что модель обучена с нуля, но не сообщает обучающий датасет, результаты оценки или дополнительные сценарии применения. Метаданные не подтверждают базовую модель или производный вариант, поэтому происхождение чекпойнта определить нельзя. Лицензия, размер и длина контекста в предоставленных данных не указаны.
Сценарии применения
классификация изображений по текстовым категориям
поиск изображений по описанию
сопоставление изображения с несколькими вариантами подписи
Ограничения
README не сообщает обучающий датасет и результаты оценки, поэтому качество и область обобщения модели по предоставленным сведениям оценить нельзя.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель