/ Модель

Характеристики

Лицензия
Apache 2.0
Библиотека
pytorch
Опубликована
17 сен 2026

UniQuery4R

Языковая модель

UniQuery4R восстанавливает геометрию и движение динамической 3D-сцены по многокадровому клипу и запросу к пикселю.

0скачиваний за 30 дней2лайкавеса обновлены17 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

UniQuery4R — разработанная Kosmo Research совместно с исследователями из Jilin University и Tsinghua University модель для реконструкции динамических сцен в 4D по многокадровому клипу и запросу к пикселю. Это query-conditioned feed-forward система: она совместно кодирует клип переменной длины с нескольких ракурсов, а затем для каждого запроса предсказывает соответствие пикселей между видами, положение точки в 3D в целевом моменте времени, вектор движения сцены и глубину исходного кадра. Параметры камер оцениваются для каждого вида.

Модель использует энкодер ViT-g и содержит около 1,65 млрд параметров. Веса представлены в формате PyTorch; лицензия — Apache-2.0. Сценарий применения — восстановление геометрии и движения объектов или окружения по последовательности изображений с запросом на выбранную исходную точку. Описание не уточняет ограничения по входным данным, точность или поддерживаемые форматы изображений.

Сценарии применения

  • реконструкция динамической 3D-сцены по видеоклипу
  • оценка движения точки между кадрами
  • предсказание соответствующих пикселей между видами
  • оценка глубины исходного кадра
  • восстановление 3D-положения точки в целевой момент времени

Ограничения

Для работы требуется многокадровый клип и запрос к исходному пикселю; оценка качества и ограничения по типам сцен в карточке не описаны.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

UniQuery4R: Unified 4D Scene Reconstruction from a Single Query

Paper | Project Page | Code

Tiancheng Chen1, Sheng Tang1, Wenhua Jin1,2, Weiqi Zhang3, Juntong Fang3, Junsheng Zhou3, Zesong Li1

1Kosmo Research    2Automotive Engineering Department, Jilin University    3School of Software, Tsinghua University

UniQuery4R is a query-conditioned feed-forward framework for unified 4D scene reconstruction from a single query. A variable-length multi-view clip is jointly encoded once; at decoding time, a continuous source-pixel query q = (u, v, src, tgt) selects the source and target views via source-to-target cross-attention. Each query jointly predicts target correspondence (warp2d), target-time 3D position (warp3d), scene flow (warp3d_delta, parameterized as direction x magnitude) and source depth, while camera parameters are estimated per view.

Model files

FileDescription
uniquery4r.pthUniQuery4R weights (ViT-g encoder, ~1.65B parameters)

Usage

Install the code from the GitHub repository, then either download this file manually or let huggingface_hub fetch it automatically by passing the repo id:

python scripts/infer_4d.py --checkpoint Kosmo-Research/UniQuery4R --input path/to/images --output outputs/demo
from uniquery4r.models.uniquery4r import UniQuery4R

model = UniQuery4R.from_pretrained("Kosmo-Research/UniQuery4R", device="cuda")

import torch
images = ...  # [S, 3, H, W] float tensor in [0, 1]
with torch.inference_mode():
    predictions = model(images)

See the GitHub README for the full CLI, motion-mask, viewer and WorldTrack-evaluation workflows.

Citation

@article{chen2026uniquery4r,
  title={{UniQuery4R}: Unified {4D} Scene Reconstruction from a Single Query},
  author={Chen, Tiancheng and Tang, Sheng and Jin, Wenhua and Zhang, Weiqi and Fang, Juntong and Zhou, Junsheng and Li, Zesong},
  journal={arXiv preprint arXiv:2608.17283},
  year={2026}
}

License

Released under the Apache License 2.0. Portions of the codebase are adapted from VGGT and remain under the VGGT License (non-commercial); see NOTICE for details.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

3D-генерация пока не поддерживается.

Ревизия весов
f1143e4

0 моделей