Открытый визуальный энкодер OpenVision для извлечения признаков изображений и применения в мультимодальных системах.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
UCSC-VLAA/openvision-vit-base-patch16-384 — визуальный энкодер OpenVision, разработанный авторами проекта OpenVision и описанный в работе «OpenVision: A Fully-Open, Cost-Effective Family of Advanced Vision Encoders for Multimodal Learning». Модель предназначена для извлечения признаков изображений и использования в мультимодальных системах; каталог также относит её к моделям для классификации изображений по текстовым меткам без дообучения.
Репозиторий использует библиотеку open_clip и содержит веса PyTorch. Лицензия — Apache-2.0. В доступных сведениях не приведены размер модели, длина контекста, набор поддерживаемых языков и подробные ограничения качества.
Карточка не приводит численных результатов оценки и подробных сведений о качестве на конкретных наборах данных.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This repository contains the model for the OpenVision encoder described in OpenVision: A Fully-Open, Cost-Effective Family of Advanced Vision Encoders for Multimodal Learning.
The models provide image features and are suitable for use in multimodal systems.
Project page: https://ucsc-vlaa.github.io/OpenVision Code: https://github.com/UCSC-VLAA/OpenVision.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · open_clip
Модели OpenCLIP требуют отдельного рантайма.