/ Модель

Характеристики

Библиотека
dust3r
Опубликована
19 июн 2024

DUSt3R_ViTLarge_BaseDecoder_224_linear

Языковая модель3 профессии

DUSt3R — модель геометрического 3D-зрения, восстанавливающая трёхмерную структуру по изображениям.

254скачиваний за 30 дней0лайковвеса обновлены12 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

DUSt3R_ViTLarge_BaseDecoder_224_linear — модель геометрического 3D-зрения из проекта DUSt3R, предназначенная для восстановления трёхмерной структуры по изображениям. Репозиторий опубликован naver и использует библиотеку dust3r; веса доступны в формате safetensors.

Модель построена на асимметричной архитектуре DUSt3R: энкодер ViT-L, декодер ViT-B и линейная голова. Указанное разрешение обучения — 224×224. Модель предназначена для задач преобразования изображений в 3D-представление; README приводит способ загрузки через класс AsymmetricCroCo3DStereo.

Карточка не описывает языковые возможности, точный формат 3D-выхода или практические ограничения качества, поэтому они здесь не уточняются. Условия лицензирования в предоставленных данных не приведены.

Сценарии применения

  • восстановление трёхмерной структуры сцены по изображениям
  • оценка геометрии объектов по фотографиям
  • создание 3D-представления сцены для компьютерного зрения

Ограничения

В предоставленной карточке не описаны ограничения качества и условия лицензирования; перед применением следует проверить лицензию и полную документацию проекта.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

DUSt3R: Geometric 3D Vision Made Easy

@inproceedings{dust3r_cvpr24,
      title={DUSt3R: Geometric 3D Vision Made Easy}, 
      author={Shuzhe Wang and Vincent Leroy and Yohann Cabon and Boris Chidlovskii and Jerome Revaud},
      booktitle = {CVPR},
      year = {2024}
}

@misc{dust3r_arxiv23,
      title={DUSt3R: Geometric 3D Vision Made Easy}, 
      author={Shuzhe Wang and Vincent Leroy and Yohann Cabon and Boris Chidlovskii and Jerome Revaud},
      year={2023},
      eprint={2312.14132},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2312.14132}, 
}

License

The code is distributed under the CC BY-NC-SA 4.0 License. See LICENSE for more information. For the checkpoints, make sure to agree to the license of all the public training datasets and base checkpoints we used, in addition to CC-BY-NC-SA 4.0. See section: Our Hyperparameters for details.

Model info

Gihub page: https://github.com/naver/dust3r/ Project page: https://dust3r.europe.naverlabs.com/

ModelnameTraining resolutionsHeadEncoderDecoder
DUSt3R_ViTLarge_BaseDecoder_224_linear224x224LinearViT-LViT-B

How to use

First, install dust3r. To load the model:

from dust3r.model import AsymmetricCroCo3DStereo
import torch

model = AsymmetricCroCo3DStereo.from_pretrained("naver/DUSt3R_ViTLarge_BaseDecoder_224_linear")

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · dust3r

Нельзя запустить

3D-генерация пока не поддерживается.

Ревизия весов
fd3c21d

0 моделей