/ Модель

Характеристики

Лицензия
CC BY-NC-ND 4.0
Библиотека
torch
Опубликована
12 июн 2026

scene-model-6layer-840

Языковая модель

Модель World Tracing r69l восстанавливает шестислойные карты глубины и XYZ-геометрию интерьера по RGB-изображению 840 × 840.

0скачиваний за 30 дней8лайковвеса обновлены16 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это высокодетальная версия модели сцены r69l из проекта World Tracing: Generative Pixel-Aligned Geometry Beyond the Visible. Модель разработана для восстановления многослойной геометрии сцены по одному RGB-изображению. Она принимает полноразмерное изображение 840 × 840 и выдаёт координаты XYZ в системе камеры в виде шести слоёв карт глубины. Архитектура MultilayerXYZModel содержит 1,5 млрд параметров; опубликованы только EMA-веса в формате PyTorch.

Модель дообучена на разрешении 840 × 840 на интерьерных рендерах Evermotion и IT-Happy. Она предназначена для получения более детальной геометрии внутренних сцен; для изображений снаружи требуется заранее замаскировать небо. Использование входа 504 × 504 приводит к грубой геометрии с артефактами, поэтому для такого разрешения авторы рекомендуют другую версию модели. Доступ к весам ограничен ручным рассмотрением запроса, а лицензия CC BY-NC-ND 4.0 запрещает коммерческое использование и распространение производных материалов согласно её условиям.

Сценарии применения

  • восстановление многослойной геометрии интерьера по изображению
  • получение карт глубины для интерьерных сцен
  • создание облака точек в системе координат камеры
  • подготовка геометрии сцены для визуализации и анализа

Ограничения

Модель обучена на интерьерных рендерах без неба; для внешних сцен небо нужно предварительно маскировать. Требует входного разрешения 840 × 840: при 504 × 504 возникают грубые артефакты; доступ к весам gated, лицензия CC BY-NC-ND 4.0 ограничивает использование.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

World Tracing — Scene Model (6-layer, 840 × 840, r69l)

Weights last updated: 2026-06-16 — r69l_v2_evermotion_ithappy_840_opp, iter 76 000.

Access

The checkpoints in this repo are released under the CC BY-NC-ND 4.0 license, but downloads are gated so we can keep a light audit trail of how the model is used. To download:

  1. Scroll up and fill in the "Submit access request" form (basic contact info + a short note on intended use).
  2. We review every request manually, usually within 1-3 business days. You will receive an email from Hugging Face once your request is approved.
  3. After approval, log in with huggingface-cli login (or set HF_TOKEN) and run any of the inference examples from the GitHub repo — the wt package picks the token up automatically and --ckpt r69l triggers a normal hf_hub_download.

Note: this is a manual review flow, not an auto-approve click-through. We read every request individually, so please give a one-line description of what you plan to use the weights for.

EMA-only release weights for the r69l high-resolution scene model from World Tracing: Generative Pixel-Aligned Geometry Beyond the Visible.

This is the 840 × 840 variant of the scene model: same 1.5 B-parameter architecture as r69e, warm-resumed from the 504-res checkpoint and fine-tuned at image_size=840 (60 × 60 patches per layer) for noticeably sharper geometry. These are the weights that power the Scene tab of the interactive demo.

  • Repo: https://github.com/haoz19/world-tracing
  • Project page: https://haoz19.github.io/world-tracing-page/
  • Config name: r69l
  • Architecture: MultilayerXYZModel, 1.5 B params (identical to r69e)
  • Input: 840 × 840 full-frame RGB (no alpha)
  • Output: per-layer XYZ in camera space, 6 stacked depth maps
  • Training data: Evermotion + IT-Happy indoor renders. The model is trained on indoor renders without sky — pre-mask the sky externally for outdoor inputs.

Resolution matters: this checkpoint was fine-tuned at 840 × 840 and must be run at that resolution (the r69l config in wt/checkpoint.py handles this). Feeding 504-res inputs is heavily out-of-distribution and produces coarse, patch-aligned "voxel block" depth. For 504 × 504 inference use scene-model-6layer (r69e) instead.

Files

FileSizeFormat
model.pt5.59 GBbare state_dict, float32

EMA weights only — ~26 % of the original training checkpoint.

Usage

git clone https://github.com/haoz19/world-tracing
cd world-tracing
pip install -e ".[viz]"

python examples/infer_scene.py \
    --image  examples/test_images/scene/scene_indoor_01_modern_living_room__seed42.png \
    --ckpt   r69l \
    --config r69l \
    --out    /tmp/wt_scene.rrd

Bare --ckpt r69l triggers huggingface_hub.hf_hub_download against this repo.

Citation

@misc{zhang2026worldtracinggenerativepixelaligned,
  title         = {World Tracing: Generative Pixel-Aligned Geometry Beyond the Visible},
  author        = {Hao Zhang and Mohamed El Banani and Jen-Hao Cheng and Paul Zhang
                   and Yi Hua and Ben Mildenhall and Christoph Lassner
                   and Narendra Ahuja and Gengshan Yang},
  year          = {2026},
  eprint        = {2606.13652},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CV},
  url           = {https://arxiv.org/abs/2606.13652}
}

License

CC BY-NC-ND 4.0 (Attribution-NonCommercial-NoDerivatives) — see the GitHub repo. Non-commercial research use only.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · torch

Нельзя запустить

3D-генерация пока не поддерживается.

Ревизия весов
7bef5a1

0 моделей