/ Модель

Характеристики

Лицензия
CC BY-NC-SA 4.0
Опубликована
5 окт 2025

human3r

Языковая модель

Human3R восстанавливает движущихся людей, трёхмерную сцену и движение камеры в мировой системе координат по монокулярному видео.

0скачиваний за 30 дней7лайковвеса обновлены2 дек 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Human3R — модель для онлайн-реконструкции людей и окружающей сцены в 4D по монокулярным видео, снятым в обычных условиях. Она совместно восстанавливает тела нескольких людей в формате SMPL-X, плотную трёхмерную геометрию сцены и траектории камеры в мировой системе координат за один проход.

Сценарии применения

  • восстановление поз и тел нескольких людей в видео
  • создание 3D-реконструкции сцены из монокулярного видео
  • оценка траектории камеры при съёмке сцены
  • онлайн-реконструкция движения людей и окружения

Ограничения

Модель описана для монокулярных видео; качество и устойчивость при иных условиях съёмки в карточке не охарактеризованы. Для запуска демо README отсылает к инструкциям внешнего репозитория.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Human3R: Everyone Everywhere All at Once

Human3R is a unified, feed-forward framework for online 4D human-scene reconstruction, in the world frame, from casually captured monocular videos. It jointly recovers global multi-person SMPL-X bodies ("everyone"), dense 3D scene ("everywhere"), and camera trajectories in a single forward pass ("all-at-once").

TL;DR: Inference with One model, One stage; Training in One day using One GPU

Sample Usage

To run the inference demo, you can use the following command (assuming you have followed the installation steps from the GitHub repository):

# input can be a folder or a video
# the following script will run inference with Human3R and visualize the output with viser on port 8080
CUDA_VISIBLE_DEVICES=0 python demo.py --model_path MODEL_PATH --size 512 \
    --seq_path SEQ_PATH --output_dir OUT_DIR --subsample 1 --use_ttt3r \
    --vis_threshold 2 --downsample_factor 1 --reset_interval 100

# Example:
CUDA_VISIBLE_DEVICES=0 python demo.py --model_path src/human3r.pth --size 512 --seq_path examples/GoodMornin1.mp4 --subsample 1 --use_ttt3r --vis_threshold 2 --downsample_factor 1 --reset_interval 100 --output_dir tmp

Output results will be saved to output_dir.

Citation

If you find our work useful, please cite:

@article{chen2025human3r,
    title={Human3R: Everyone Everywhere All at Once},
    author={Chen, Yue and Chen, Xingyu and Xue, Yuxuan and Chen, Anpei and Xiu, Yuliang and Gerard, Pons-Moll},
    journal={arXiv preprint arXiv:2510.06219},
    year={2025}
    }

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

3D-генерация пока не поддерживается.

Ревизия весов
1902f6b

0 моделей