Характеристики

Лицензия: Своя лицензия
Опубликована: 28 ноя 2023

Ссылки

SceneDreamer

Языковая модель

SceneDreamer генерирует согласованные трёхмерные ландшафты по коллекциям двумерных изображений и позволяет свободно перемещать виртуальную камеру.

0скачиваний за 30 дней44лайкавеса обновлены30 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SceneDreamer — исследовательская модель для генерации неограниченных трёхмерных сцен по коллекциям обычных двумерных изображений. Она создаёт разнообразные ландшафты в разных стилях, сохраняя согласованность сцены в 3D и структуру глубины; камеру можно перемещать по свободной траектории. Модель предназначена для синтеза сцен, а не для обработки текста.

В метаданных указаны задача image-to-3d, библиотека PyTorch и лицензия other. В карточке не приведены сведения о размере модели, контекстном окне или конкретных условиях лицензии.

Сценарии применения

генерация 3D-ландшафта по коллекции фотографий
создание разнообразных сцен в разных визуальных стилях
синтез окружения для свободного перемещения виртуальной камеры

Ограничения

Карточка не раскрывает конкретные условия лицензии, а метаданные показывают лицензию other. Модель описана для генерации ландшафтов по коллекциям изображений; универсальность для других типов 3D-сцен не подтверждена.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SceneDreamer Model Card

SceneDreamer learns to generate unbounded 3D scenes from in-the-wild 2D image collections.

Our method can synthesize diverse landscapes across different styles, with 3D consistency, well-defined depth, and free camera trajectory.

Model Details

Model Sources

Repository: https://github.com/FrozenBurning/SceneDreamer
Paper: https://arxiv.org/abs/2302.01330
Demo: https://huggingface.co/spaces/FrozenBurning/SceneDreamer

Citation

BibTeX:

@ARTICLE {chen2023sd,
author = {Z. Chen and G. Wang and Z. Liu},
journal = {IEEE Transactions on Pattern Analysis &amp; Machine Intelligence},
title = {SceneDreamer: Unbounded 3D Scene Generation From 2D Image Collections},
year = {2023},
volume = {45},
number = {12},
issn = {1939-3539},
pages = {15562-15576},
keywords = {three-dimensional displays;solid modeling;semantics;cameras;training;rendering (computer graphics);geometry},
doi = {10.1109/TPAMI.2023.3321857},
publisher = {IEEE Computer Society},
address = {Los Alamitos, CA, USA},
month = {dec}
}

Model Card Contact

Zhaoxi Chen: zhaoxi001@ntu.edu.sg

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

3D-генерация пока не поддерживается.

Ревизия весов: a5c51c7