/ Модель

Характеристики

Лицензия
CC BY-NC 4.0
Библиотека
pytorch
Опубликована
30 июн 2026

argus-realsee3d

Языковая модель

Argus восстанавливает метрическую 3D-геометрию помещений по разреженным панорамным снимкам, оценивая позы камер, глубину и облако точек.

0скачиваний за 30 дней9лайковвеса обновлены1 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Argus — модель Realsee для метрической 3D-реконструкции внутренних помещений по панорамным изображениям. Это нейросеть прямого прохода, обученная на наборе Realsee3D: 10 тысяч сцен, включая реальные и синтетические, с панорамными видами и метрической разметкой.

На вход подаются разреженные панорамные снимки в произвольном порядке. Модель совместно оценивает положения камер, метрическую глубину и облако точек в общей системе координат. В модуле выбора опорного ракурса используется оценка совместной видимости; авторы сообщают о высоких результатах на тестах оценки поз камер, глубины и восстановления облака точек.

Модель предназначена для восстановления геометрии помещений по панорамным съёмкам. Для использования доступен предварительно обученный чекпойнт PyTorch; описание архитектуры и пример запуска вынесены в официальный репозиторий. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Сценарии применения

  • 3D-реконструкция помещений по панорамным снимкам
  • оценка поз камер в панорамной съёмке
  • построение метрических карт глубины интерьера
  • восстановление облака точек внутренних сцен

Ограничения

Модель рассчитана на внутренние сцены и разреженные панорамные снимки; результаты за пределами этого сценария не описаны. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Argus is a feed-forward network for metric panoramic 3D reconstruction of indoor scenes. Given sparse, unordered panoramic captures, it jointly predicts camera pose, metric depth, and point cloud reconstruction in a shared metric world frame.

This repository hosts the pretrained Argus weights (argus_realsee3d.pt).

Overview

Metric feed-forward 3D reconstruction for panoramic data has remained under-explored due to the lack of large-scale panoramic RGB-D training data. This work introduces:

  • Realsee3D — a hybrid dataset of 10K indoor scenes (1K real, 9K synthetic) with 299K panoramic viewpoints and precise metric annotations.
  • Argus — a feed-forward network trained on Realsee3D for metric panoramic 3D reconstruction.

In the sparse unordered capture setting of Realsee3D, a poorly chosen coordinate anchor can cause global pose drift. Argus addresses this with a learned covisibility module that selects the geometrically optimal reference view to anchor the metric world frame. To improve multi-task learning, the bidirectional pixel-to-world mapping is decomposed into interpretable sub-steps with per-step supervision and cross-coordinate joint constraints, reinforcing geometric consistency across prediction branches.

On the Realsee3D benchmark, Argus achieves state-of-the-art metric performance in camera pose estimation, depth estimation, and point cloud reconstruction.

Files

FileDescription
argus_realsee3d.ptPretrained Argus model weights (PyTorch checkpoint)

Usage

For the model architecture, inference pipeline, and example code, see the official repository: https://github.com/realsee-developer/Argus

Citation

If you use Argus or the Realsee3D dataset, please cite:

@misc{li2026argusmetricpanoramic3d,
      title={Argus: Metric Panoramic 3D Reconstruction for Indoor Scenes}, 
      author={Xi Li and Linyuan Li and Yan Wu and Tong Rao and Kai Zhang and Xinchen Hui and Cihui Pan},
      year={2026},
      eprint={2606.30047},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2606.30047}, 
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

3D-генерация пока не поддерживается.

Ревизия весов
5fcd966

0 моделей