This repository contains the OpenVision vision encoders described in the paper OpenVision: A Fully-Open, Cost-Effective Family of Advanced Vision Encoders for Multimodal Learning.
Project page: https://ucsc-vlaa.github.io/OpenVision
Характеристики
- Контекст
- 512 токенов
- Лицензия
- Apache 2.0
- Библиотека
- open_clip
- Опубликована
- 6 мая 2025
Ссылки
openvision-vit-small-patch16-224
Визуальный энкодер OpenVision на базе ViT-Small для извлечения признаков изображений и классификации по текстовым описаниям без дообучения.
134скачиваний за 30 дней0лайковвеса обновлены17 мая 2025
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
UCSC-VLAA/openvision-vit-small-patch16-224 — визуальный энкодер из семейства OpenVision, описанного в работе «OpenVision: A Fully-Open, Cost-Effective Family of Advanced Vision Encoders for Multimodal Learning». Репозиторий содержит веса модели в формате PyTorch и предназначен для извлечения признаков изображений, а также для классификации изображений по текстовым описаниям без дополнительного обучения.
Модель рассчитана на мультимодальные сценарии, где визуальные признаки используются для сопоставления изображений с текстовыми запросами. По названию репозитория это вариант ViT-Small с патчами 16×16 и входным разрешением 224 пикселя. Лицензия — Apache-2.0.
Сценарии применения
- извлечение признаков изображений для последующего поиска
- поиск изображений по текстовому запросу
- классификация изображений по текстовым меткам без дообучения
Ограничения
Карточка не сообщает результаты сравнительных оценок или ограничения применения. Для классификации по тексту требуется предоставить описания или метки классов.
Для каких профессий подходит8
Разделы каталога профессий, в задачах которых используется эта модель
I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделейI.8Универсальные способностиИзображения и компьютерное зрениеAI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы.17 задач6 331модельII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.12Универсальные способностиРекомендации и персонализацияAI помогает подбирать релевантные варианты и адаптировать опыт под конкретного человека или ситуацию.15 задач7 627моделей
Также подходит для
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · open_clip
Модели OpenCLIP требуют отдельного рантайма.
- Ревизия весов
- 0c52da2