vit_pe_spatial_large_patch14_448.fb
Визуальный энкодер Perception Encoder от Meta извлекает признаки из изображений для последующих задач компьютерного зрения.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Это вариант визуального энкодера Perception Encoder (PE), разработанного Meta и опубликованного в формате timm соображениями автора timm. Модель предназначена для извлечения признаков из изображений; её можно использовать как основу для последующих задач компьютерного зрения, включая классификацию и поиск по изображениям. Репозиторий включает веса для архитектуры Vision Transformer large с размером входа 448 × 448 и выходным вектором признаков размерности 1024.
Это image-only вариант весов PE Spatial; карточка указывает, что веса преобразованы для timm и не работают с исходным кодом моделирования. Вход модели — изображение, выход — признаки изображения. Репозиторий распространяется по лицензии Apache-2.0. Языковая поддержка для этого энкодера не заявлена.
Сценарии применения
- Извлечение векторных признаков изображения
- Подготовка эмбеддингов для поиска похожих изображений
- Создание признаков для классификатора изображений
- Использование визуального энкодера в конвейере компьютерного зрения
Ограничения
Модель выдаёт признаки изображений и сама по себе не является генеративной моделью или готовым классификатором. Карточка отмечает, что эти timm-веса несовместимы с исходным кодом моделирования PE.
Для каких профессий подходит4
Разделы каталога профессий, в задачах которых используется эта модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · timm · image-feature-extraction
Подбираем GPU…
- Ревизия весов
- ac6f424