/ Модель

Характеристики

Лицензия
Apache 2.0
Опубликована
17 янв 2024

TriplaneGaussian

Языковая модель

Модель VAST-AI, которая за несколько секунд восстанавливает 3D-представление объекта по одному изображению с помощью гибридного Triplane-Gaussian.

0скачиваний за 30 дней87лайковвеса обновлены18 янв 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

TriplaneGaussian — модель VAST-AI для быстрого восстановления 3D-представления объекта по одному изображению. Она использует гибридное представление Triplane-Gaussian и предназначена для реконструкции за несколько секунд.

Указанный чекпойнт обучен на Objaverse-LVIS — наборе примерно из 45 тысяч синтетических объектов. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Модель ориентирована на реконструкцию отдельных объектов по одиночному виду; данные карточки не подтверждают поддержку видео или генерации полноценных сцен.

Сценарии применения

  • создание 3D-реконструкции объекта по одной фотографии
  • быстрое получение 3D-объектов из изображений для прототипирования
  • восстановление синтетических объектов из одиночного вида

Ограничения

Обучена на примерно 45 тысячах синтетических объектов Objaverse-LVIS, поэтому перенос на реальные изображения и объекты вне обучающего распределения может быть ограничен. Карточка описывает реконструкцию объекта по одному изображению, а не целых сцен.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

TriplaneGuassian Model Card

Project Page | Paper (ArXiv) | Code | Gradio demo

Introduction

TGS enables fast reconstruction from single-view image in a few seconds based on a hybrid Triplane-Gaussian 3D representation.

Examples

Results on Images Generated by Midjourney

Results on Captured Real-world Images

Model Details

The model model_lvis_rel.ckpt is trained on Objaverse-LVIS dataset, which only includes ~45K synthetic objects.

Usage

You can directly download the model in this repository or employ the model in python script by:

from huggingface_hub import hf_hub_download
MODEL_CKPT_PATH = hf_hub_download(repo_id="VAST-AI/TriplaneGaussian", filename="model_lvis_rel.ckpt", repo_type="model")

More details can be found in our Github repository.

Citation

If you find this work helpful, please consider citing our paper:

@article{zou2023triplane,
  title={Triplane Meets Gaussian Splatting: Fast and Generalizable Single-View 3D Reconstruction with Transformers},
  author={Zou, Zi-Xin and Yu, Zhipeng and Guo, Yuan-Chen and Li, Yangguang and Liang, Ding and Cao, Yan-Pei and Zhang, Song-Hai},
  journal={arXiv preprint arXiv:2312.09147},
  year={2023}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

3D-генерация пока не поддерживается.

Ревизия весов
096247f

0 моделей