Характеристики

Лицензия: Своя лицензия
Библиотека: DepthCrafter
Опубликована: 14 сен 2024

Ссылки

Hugging Face arXiv 2409.02095

DepthCrafter

Оценка глубиныИзображение → depth_map3 профессии

DepthCrafter оценивает глубину в видео и формирует длинные временно согласованные последовательности карт глубины без данных о позах камеры и оптическом потоке.

11 617скачиваний за 30 дней122лайкавеса обновлены30 июл 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

DepthCrafter — модель для оценки глубины в видео, разработанная исследователями Tencent AI Lab, Hong Kong University of Science and Technology и ARC Lab при Tencent PCG. Она создаёт длинные последовательности карт глубины с временной согласованностью и мелкими деталями для видео из открытых сценариев, не требуя поз камеры или оптического потока.

Модель предназначена для получения глубины кадров видео и построения согласованных последовательностей, которые можно использовать, например, для восстановления движения и структуры сцены в видеопотоке. В карточке указана архитектура DepthCrafter и формат весов safetensors. Лицензия обозначена как other, поэтому конкретные условия использования нужно сверять с материалами проекта.

Сценарии применения

оценка глубины в кадрах видео
генерация согласованных карт глубины для длинного видео
восстановление структуры сцены по видеоряду
подготовка последовательностей глубины для визуализации облака точек

Ограничения

README не приводит количественных оценок качества или ограничений по длительности и типам видео. Лицензия указана как other; перед использованием следует проверить условия в материалах проекта.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

DepthCrafter: Generating Consistent Long Depth Sequences for Open-world Videos

Wenbo Hu1* †, Xiangjun Gao2*, Xiaoyu Li1* †, Sijie Zhao1, Xiaodong Cun1, Yong Zhang1, Long Quan2, Ying Shan3, 1 1Tencent AI Lab 2The Hong Kong University of Science and Technology 3ARC Lab, Tencent PCG

arXiv preprint, 2024

If you find DepthCrafter useful, please help ⭐ the [Github Repo], which is important to Open-Source projects. Thanks!

🔆 Introduction

🤗 DepthCrafter can generate temporally consistent long depth sequences with fine-grained details for open-world videos, without requiring additional information such as camera poses or optical flow.

🎥 Visualization

We provide some demos of unprojected point cloud sequences, with reference RGB and estimated depth videos. Please refer to our project page for more details.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · DepthCrafter · depth-estimation

Нельзя запустить

Архитектура ? неизвестна transformers в образе рантайма.

Ревизия весов: f2207fa