Характеристики

Параметры: 113 млн
Лицензия: Apache 2.0
Архитектура: vit · dense
Базовая модель: vit-base-patch16-224-in21k
Опубликована: 3 окт 2023

Ссылки

Hugging Face

pose-estimation-front-side-back

LucyintheSky

Классификация изображенийИзображение → label3 профессии

Модель на базе ViT классифицирует положение человека относительно камеры как вид спереди, сбоку или сзади.

30скачиваний за 30 дней3лайкавеса обновлены27 дек 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель LucyintheSky/pose-estimation-front-side-back классифицирует изображения человека по положению тела относительно камеры: спереди, сбоку или сзади. Она создана дообучением Vision Transformer ViT-Base с патчами 16×16 на базе google/vit-base-patch16-224-in21k и предназначена для распознавания ориентации человека на изображении.

Модель обучена на изображениях Lucy in the Sky. В карточке указаны точность 0,9355 и loss 0,2524 на оценочном наборе. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0.

Сценарии применения

Определение, смотрит ли человек к камере, боком или от камеры
Автоматическая разметка ориентации человека на фотографиях
Фильтрация изображений по ракурсу человека

Ограничения

Модель классифицирует только три категории ориентации относительно камеры; качество за пределами изображений и распределения обучения не установлено. Метрики приведены для оценочного набора без описания его состава.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей IV.1Отраслевые задачиРитейл, электронная коммерция и fashion-techAI помогает управлять ассортиментом, покупательским опытом и эффективностью торговых операций.29 задач5 934модели II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Pose Estimation: front,side,back

Model description

This model predicts the person's body position relative to the camera: front, side, back. It was trained on Lucy in the Sky images.

This model is a fine-tuned version of google/vit-base-patch16-224-in21k.

Training and evaluation data

It achieves the following results on the evaluation set:

Loss: 0.2524
Accuracy: 0.9355

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
gradient_accumulation_steps: 4
total_train_batch_size: 64
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.1
num_epochs: 20

Framework versions

Transformers 4.34.0
Pytorch 2.0.1+cu118
Datasets 2.14.5
Tokenizers 0.14.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · image-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: ViTForImageClassification
Ревизия весов: ae5771e