Характеристики

Лицензия: CC BY-NC 4.0
Опубликована: 9 сен 2026

Ссылки

Hugging Face arXiv 2608.20308

ACE-Ego-Hand

acerobotics2025

Классификация и разметка

ACE-Ego-Hand восстанавливает покадровые 3D-позы и движения обеих рук по эгоцентрическому RGB-видео.

0скачиваний за 30 дней2лайкавеса обновлены9 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ACE-Ego-Hand — исследовательская модель для восстановления движений обеих рук в 3D по эгоцентрическому RGB-видео. Она разработана для работы с видеодиффузионной моделью Wan2.2-Fun-5B-Control, переосмысленной как детерминированный геометрический энкодер. Для каждого кадра модель восстанавливает параметры позы и формы рук MANO, а также их перенос в координатах камеры.

Доступны два чекпойнта: K-given требует внутренних параметров камеры, а K-free работает без них. Модель рассчитана на видео с перспективной камерой типа pinhole; исходные кадры с fisheye-объектива нужно предварительно исправить. Веса распространяются по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства, но не коммерческое использование.

Сценарии применения

восстановление 3D-движений рук в видео от первого лица
оценка позы обеих рук по кадрам RGB-видео
извлечение параметров MANO для анимации рук
анализ взаимодействия рук с объектами в эгоцентрическом видео

Ограничения

Модель рассчитана на перспективное видео pinhole и не поддерживает исходное fisheye-видео без предварительного устранения искажений. Для чекпойнта K-given необходимы внутренние параметры камеры.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ACE-Ego-Hand

Checkpoints for ACE-Ego-Hand: Repurposing Video Diffusion Models for Occlusion-Robust Egocentric 3D Hand Motion Recovery (arXiv:2608.20308).

ACE-Ego-Hand recovers bimanual 3D hand motion (MANO pose, shape and camera-space translation, per frame) from egocentric RGB video by repurposing a video diffusion model (Wan2.2-Fun-5B-Control) as a deterministic geometry encoder. Inference code: https://github.com/ggxxii/ACE-Ego-Hand · project page: https://ggxxii.github.io/ace-ego-hand/

Checkpoints

model	checkpoint	camera intrinsics
K-given	`ace_ego_hand_k.pt`	required
K-free	`ace_ego_hand_kfree.pt`	not needed

Both are the paper checkpoints. Inference code and usage: https://github.com/ggxxii/ACE-Ego-Hand

⚠️ Pinhole only. These checkpoints do not support native fisheye input. To run on fisheye footage, undistort it to a pinhole view first and pass the pinhole intrinsics.

License

The weights are released for research purposes under CC BY-NC 4.0: they were trained on research-licensed datasets and derive from the MANO body model, so commercial use is not permitted. The code in the GitHub repository is MIT-licensed.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов: 6fb3dec