/ Модель

Характеристики

Лицензия
Apache 2.0
Библиотека
diffusers
Опубликована
15 янв 2025

marigold-depth-hr-v1-1

Оценка глубиныИзображение → depth_map3 профессии

Модель на основе латентной диффузии оценивает относительную глубину сцены по одному изображению высокого разрешения.

87скачиваний за 30 дней10лайковвеса обновлены11 июл 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Marigold Depth HR v1-1 — модель Bingxin Ke, Kevin Qu, Tianfu Wang, Nando Metzger, Shengyu Huang, Bo Li, Anton Obukhov и Konrad Schindler для оценки глубины по одному изображению. Она основана на латентной диффузионной архитектуре и дообучена на базе marigold-depth-v1-1 для работы с изображениями высокого разрешения.

Модель строит аффинно-инвариантную карту глубины: значения от 0 до 1 задают относительное расстояние между выбранными моделью ближней и дальней плоскостями. Она рассчитана на изображения размером до 4 Мп и использует DDIM с 10–50 шагами денойзинга. Подходит для анализа сцен и получения относительной глубины без данных о камере. Лицензия — Apache 2.0.

Сценарии применения

  • построение карты глубины по фотографии
  • оценка относительных расстояний до объектов на изображении
  • анализ глубины в сценах высокого разрешения
  • подготовка карты глубины для компьютерного зрения

Ограничения

Модель оценивает относительную, а не метрическую глубину; диапазон значений нормализован между выбранными моделью ближней и дальней плоскостями. Для работы с разрешением до 4 Мп рекомендуется DDIM с 10–50 шагами денойзинга.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This is a model card for the marigold-depth-hr-v1-1 model for monocular depth estimation from a single image. The model is fine-tuned from the marigold-depth-v1-1 model as described in our papers:

  • CVPR'2024 paper titled "Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation"
  • Journal extension titled "Marigold: Affordable Adaptation of Diffusion-Based Image Generators for Image Analysis"

Model Details

  • Developed by: Bingxin Ke, Kevin Qu, Tianfu Wang, Nando Metzger, Shengyu Huang, Bo Li, Anton Obukhov, Konrad Schindler.
  • Model type: Generative latent diffusion-based affine-invariant monocular depth estimation from a single image.
  • Language: English.
  • License: Apache License License Version 2.0.
  • Model Description: This model can be used to generate an estimated depth map of an input image.
    • Resolution: The model is designed to support large resolutions up to 4MP.
    • Steps and scheduler: This model was designed for usage with the DDIM scheduler and between 10 and 50 denoising steps.
    • Outputs:
      • Affine-invariant depth map: The predicted values are between 0 and 1, interpolating between the near and far planes of the model's choice.
  • Resources for more information: Project Website, Paper, Code.
  • Cite as:
@misc{ke2025marigold,
  title={Marigold: Affordable Adaptation of Diffusion-Based Image Generators for Image Analysis},
  author={Bingxin Ke and Kevin Qu and Tianfu Wang and Nando Metzger and Shengyu Huang and Bo Li and Anton Obukhov and Konrad Schindler},
  year={2025},
  eprint={2505.09358},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}

@InProceedings{ke2023repurposing,
  title={Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation},
  author={Bingxin Ke and Anton Obukhov and Shengyu Huang and Nando Metzger and Rodrigo Caye Daudt and Konrad Schindler},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2024}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · diffusers · depth-estimation

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов
902ff7c

0 моделей