/ Модель

Характеристики

Лицензия
Apache 2.0
Опубликована
1 авг 2026

2dhandpose

Классификация и разметка

Модель Build AI на базе ViT оценивает 42 ключевые точки обеих рук на RGB-кадрах эгоцентрического видео.

0скачиваний за 30 дней0лайковвеса обновлены1 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

eddybuild/2dhandpose — модель оценки 2D-ключевых точек кистей, обученная Build AI для видео от первого лица. Она принимает монохромные по смыслу одиночные RGB-кадры и выдаёт тепловую карту для каждой из 42 точек обеих рук: по 21 точке на правую и левую кисть, включая четыре точки на каждом пальце и запястье. Порядок каналов задан в карточке модели.

Модель использует ViT-бэкбон для оценки позы с 0,43 млрд параметров и совместимую с Sapiens голову тепловых карт; веса сохранены в формате safetensors. Она предназначена для обнаружения положения суставов кистей в кадрах эгоцентрического видео и может использоваться в системах анализа движений рук. Лицензия — Apache-2.0.

Сценарии применения

  • оценка позы кистей в видео от первого лица
  • определение координат пальцев и запястий на RGB-кадрах
  • отслеживание движений обеих рук по видеокадрам

Ограничения

Модель выдаёт тепловые карты, а не готовые координаты; для их преобразования в точки требуется совместимый декодер. Она обучена для эгоцентрического видео, поэтому её пригодность для других ракурсов не подтверждена.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

2dhandpose

2D hand keypoint estimation weights for egocentric video, trained by Build AI.

  • model.safetensors — 0.43B-parameter ViT pose backbone (Sapiens-compatible architecture) with a 42-channel heatmap head.
  • Input: monocular RGB frames. Output: one heatmap per hand keypoint.

Keypoint order (42 channels)

Channels 0–20 are the right hand, 21–41 the left hand. Within each hand: five fingers (thumb, index, middle, ring, pinky), each as 4 points ordered fingertip → base (MCP), followed by the wrist.

channelkeypoint
0–3right thumb, tip → MCP
4–7right index, tip → MCP
8–11right middle, tip → MCP
12–15right ring, tip → MCP
16–19right pinky, tip → MCP
20right wrist
21–24left thumb, tip → MCP
25–28left index, tip → MCP
29–32left middle, tip → MCP
33–36left ring, tip → MCP
37–40left pinky, tip → MCP
41left wrist

Skeleton: within each finger connect the 4 points in order; connect the wrist to each finger's MCP (channels 3, 7, 11, 15, 19 for right; 24, 28, 32, 36, 40 for left).

Loading

The state dict follows the open-source Sapiens pose layout (backbone.* ViT + decode_head.* deconv/conv heatmap head) with num_keypoints = 42; any loader compatible with that code can consume it directly.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов
ec9bf0f

0 моделей