/ Модель

Характеристики

Лицензия
MIT
Библиотека
pytorch
Опубликована
9 окт 2026

LoCoSplat

Языковая модель

LoCoSplat восстанавливает 3D-сцену по нескольким изображениям для быстрого синтеза новых ракурсов методом 3D Gaussian Splatting.

0скачиваний за 30 дней0лайковвеса обновлены9 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LoCoSplat — модель прямого восстановления 3D-сцен методом 3D Gaussian Splatting, разработанная исследователями из Georgia Institute of Technology. Она строит представление сцены по нескольким контекстным изображениям и предназначена для синтеза новых ракурсов. В репозитории представлены варианты, обученные на 6, 12 или 24 изображениях RealEstate10K с разрешением 256×256; вариант на 6 изображениях также оценивался без дополнительного обучения на ACID. Модель содержит 99,1 млн параметров, включая замороженную визуальную основу Depth Anything V2 ViT-B с 86,6 млн параметров. Авторы сообщают, что восстановление сцены по 6 ракурсам занимает 33 мс на RTX PRO 6000 в оптимизированном режиме fp16 с CUDA Graph.

Архитектура использует два фиксированных воксельных грида и точечную MLP с 0,14 млн параметров; обучаемая 3D-сеть и динамические разреженные вычисления не применяются. Модель рассчитана на реконструкцию сцен и синтез новых ракурсов по нескольким изображениям, а не на создание произвольных 3D-объектов из текста. Карточка сообщает о лицензии MIT. Результаты и скорость относятся к описанным датасетам, конфигурациям и оборудованию.

Сценарии применения

  • реконструкция сцены по 6–24 фотографиям
  • синтез новых ракурсов недвижимости
  • быстрое восстановление 3D-представления сцены
  • эксперименты с feed-forward 3D Gaussian Splatting

Ограничения

Варианты обучены на RealEstate10K при разрешении 256×256, поэтому перенос на иные типы сцен и условия съёмки может отличаться. Заявленная скорость измерена для 6 ракурсов на RTX PRO 6000 в оптимизированном режиме fp16 с CUDA Graph.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LoCoSplat: Real-Time Feed-Forward 3D Gaussian Splatting with Minimal 3D Reasoning

Sinan Wang*, Jinjin He*, Yuchen Sun, Duowen Chen, Shenyifan Lu, Bo Zhu (Georgia Institute of Technology; * equal contribution)

Paper (arXiv:2610.04351) · Code

LoCoSplat is a feed-forward 3D Gaussian Splatting model that replaces the learned 3D network of voxel-aligned methods with two fixed grids (voxel 0.001 and 0.128) read back at each anchor by a 0.14M-parameter pointwise MLP. With no learned 3D network and no dynamic sparse computation, the whole encoder runs as one fp16 CUDA graph: a 6-view scene is reconstructed in 33 ms on one RTX PRO 6000.

Checkpoints

All trained on RealEstate10K (256x256) for 150k steps, 4 GPUs x batch 1, with VolSplat's official recipe (config/experiment/locosplat_re10k.yaml in the code repository). Weights only (state_dict, optimizer states stripped), 397 MB each; 99.1 M parameters of which 86.6 M are the frozen Depth Anything V2 ViT-B backbone.

filetrained withRE10K official index: PSNR / SSIM / LPIPSsha256
locosplat_re10k_6v.ckpt6 context views31.51 / 0.942 / 0.07403b03e4531167a65d8caa03dcf905212aaa4a2df408b3d4af6bd6d9adeb0485b
locosplat_re10k_12v.ckpt12 context views31.47 / 0.942 / 0.073fffd4dc768fc047a95321078be2dd4b6580390dd728720dd0020438b8387ed76
locosplat_re10k_24v.ckpt24 context views30.57 / 0.934 / 0.082790ce657dfe56a04a45a13fae4fee1528829eccef561b087d3cad2893a832e80

The 6-view checkpoint is also the model evaluated zero-shot on ACID (33.16 / 0.931 / 0.091) and the initialisation of the ScanNet fine-tuning in the paper.

Usage

git clone https://github.com/swang3081/LoCoSplat && cd LoCoSplat   # install: see README
hf download swang3081/LoCoSplat --local-dir models

scripts/eval_re10k.sh 6  models/locosplat_re10k_6v.ckpt          # plain fp32
FAST=1 scripts/eval_re10k.sh 6 models/locosplat_re10k_6v.ckpt   # deployed fp16 + CUDA-graph path
scripts/eval_re10k.sh 12 models/locosplat_re10k_12v.ckpt
scripts/eval_re10k.sh 24 models/locosplat_re10k_24v.ckpt

Each checkpoint file carries a locosplat dict with the training view count and the exact hydra overrides of its run.

Citation

@article{wang2026locosplat,
  title   = {LoCoSplat: Real-Time Feed-Forward 3D Gaussian Splatting with Minimal 3D Reasoning},
  author  = {Wang, Sinan and He, Jinjin and Sun, Yuchen and Chen, Duowen and Lu, Shenyifan and Zhu, Bo},
  journal = {arXiv preprint arXiv:2610.04351},
  year    = {2026}
}

Acknowledgements

Built on VolSplat, DepthSplat, UniMatch and Depth Anything V2.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

3D-генерация пока не поддерживается.

Ревизия весов
d76a140

0 моделей