/ Модель

Характеристики

Библиотека
mast3r
Опубликована
9 июл 2024

MASt3R_ViTLarge_BaseDecoder_512_catmlpdpt_metric

Языковая модель3 профессии

MASt3R — модель компьютерного зрения для сопоставления изображений и восстановления 3D-геометрии сцены.

77 616скачиваний за 30 дней20лайковвеса обновлены18 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MASt3R_ViTLarge_BaseDecoder_512_catmlpdpt_metric — модель компьютерного зрения из проекта MASt3R, разработанного Винсентом Леруа, Йоханном Кабоном и Жеромом Рево. Работа представлена в статье «Grounding Image Matching in 3D with MASt3R» (2024) и развивает подход DUSt3R к геометрическому зрению в 3D.

Модель предназначена для задач image-to-3d: по изображениям она помогает сопоставлять визуальные признаки с геометрией сцены и получать 3D-представление. В карточке приведён вариант с энкодером ViT-L, декодером ViT-B и головой CatMLP+DPT; среди разрешений обучения указаны варианты от 512×160 до 512×384. Для загрузки требуется библиотека MASt3R, веса опубликованы в формате safetensors.

Модель подходит для восстановления структуры сцены и построения 3D-реконструкций по изображениям. README содержит только краткие сведения о модели и начало инструкции по загрузке, поэтому детали поддерживаемого числа входных изображений и точный формат результатов не описаны. Условия лицензии в предоставленных данных не указаны.

Сценарии применения

  • восстановление 3D-геометрии сцены по изображениям
  • сопоставление изображений для 3D-реконструкции
  • построение пространственных представлений по фотографиям

Ограничения

README не уточняет формат результатов и ограничения по входным изображениям; лицензия в предоставленных данных не указана.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Grounding Image Matching in 3D with MASt3R

@misc{mast3r_arxiv24,
      title={Grounding Image Matching in 3D with MASt3R}, 
      author={Vincent Leroy and Yohann Cabon and Jerome Revaud},
      year={2024},
      eprint={2406.09756},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

@inproceedings{dust3r_cvpr24,
      title={DUSt3R: Geometric 3D Vision Made Easy}, 
      author={Shuzhe Wang and Vincent Leroy and Yohann Cabon and Boris Chidlovskii and Jerome Revaud},
      booktitle = {CVPR},
      year = {2024}
}

License

The code is distributed under the CC BY-NC-SA 4.0 License. See LICENSE for more information.
For the checkpoints, make sure to agree to the license of all the public training datasets and base checkpoints we used, in addition to CC-BY-NC-SA 4.0.
The mapfree dataset license in particular is very restrictive. For more information, check CHECKPOINTS_NOTICE.

Model info

Gihub page: https://github.com/naver/mast3r/

ModelnameTraining resolutionsHeadEncoderDecoder
MASt3R_ViTLarge_BaseDecoder_512_catmlpdpt_nonmetric512x384, 512x336, 512x288, 512x256, 512x160CatMLP+DPTViT-LViT-B

How to use

First, install mast3r. To load the model:

from mast3r.model import AsymmetricMASt3R
import torch

model = AsymmetricMASt3R.from_pretrained("naver/MASt3R_ViTLarge_BaseDecoder_512_catmlpdpt_nonmetric")

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mast3r

Нельзя запустить

3D-генерация пока не поддерживается.

Ревизия весов
06e7259

0 моделей