/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
stable-diffusion-2
Опубликована
14 янв 2025

DepthMaster

Оценка глубиныИзображение → depth_map3 профессии

DepthMaster оценивает глубину сцены по одному изображению, используя дообученную диффузионную модель с предсказанием за один шаг.

23скачиваний за 30 дней10лайковвеса обновлены14 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

DepthMaster — модель для оценки глубины по одному изображению, разработанная авторами из University of Science and Technology of China и vivo Mobile Communication Co., Ltd. Это дообученная на базе стабильной диффузионной модели Stable Diffusion 2 система, которая использует генеративные признаки диффузионной модели для дискриминативной задачи монокулярной оценки глубины и выполняет предсказание за один шаг.

В архитектуре применяются модуль выравнивания признаков, предназначенный для снижения переобучения на текстурах, и модуль Fourier Enhancement для уточнения мелких деталей. Авторы заявляют высокие результаты zero-shot на разных наборах данных и улучшенное сохранение деталей. Модель подходит для получения карты глубины из одиночного изображения в компьютерном зрении и мобильных сценариях. Репозиторий использует Diffusers и формат safetensors; лицензия — Apache 2.0.

Сценарии применения

  • получение карты глубины из фотографии
  • оценка геометрии сцены по одиночному кадру
  • выделение объектов по расстоянию до камеры
  • анализ глубины в мобильных приложениях
  • zero-shot оценка глубины на новых типах изображений

Ограничения

README не приводит численных метрик или деталей условий оценки; качество может зависеть от домена входных изображений.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

teaser

We present DepthMaster, a tamed single-step diffusion model that customizes generative features in diffusion models to suit the discriminative depth estimation task. We introduce a Feature Alignment module to mitigate overfitting to texture and a Fourier Enhancement module to refine fine-grained details. DepthMaster exhibits state-of-the-art zero-shot performance and superior detail preservation ability, surpassing other diffusion-based methods across various datasets.

🎓 Citation

Please cite our paper:

@article{song2025depthmaster,
  title={DepthMaster: Taming Diffusion Models for Monocular Depth Estimation},
  author={Song, Ziyang and Wang, Zerong and Li, Bo and Zhang, Hao and Zhu, Ruijie and Liu, Li and Jiang, Peng-Tao and Zhang, Tianzhu},
  journal={arXiv preprint arXiv:2501.02576},
  year={2025}
}

Acknowledgements

The code is based on Marigold.

🎫 License

This work is licensed under the Apache License, Version 2.0 (as defined in the LICENSE).

By downloading and using the code and model you agree to the terms in the LICENSsE.

License

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · depth-estimation

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов
98fd729

0 моделей