/ Модель

Характеристики

Лицензия
OpenRAIL++
Базовая модель
stable-diffusion-2-1-base
Опубликована
2 сен 2025

Diffuman4D

Языковая модельВидео, текст → видео3 профессии

Diffuman4D синтезирует согласованные ракурсы человеческих выступлений по видео, снятым с нескольких точек обзора.

53скачиваний за 30 дней8лайковвеса обновлены10 сен 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Diffuman4D — модель для синтеза новых ракурсов человеческих выступлений по видео с небольшим числом исходных ракурсов. Она предназначена для высококачественного рендеринга человека с возможностью свободно выбирать точку обзора и сохранять пространственно-временную согласованность кадров.

Модель основана на дообученной Stable Diffusion 2.1 и использует пространственно-временную диффузию. Репозиторий распространяет веса в форматах Diffusers и safetensors; задача в метаданных — video-to-video. Подробные инструкции по запуску вынесены в репозиторий проекта.

Модель ориентирована на генерацию многовидового видео человеческих движений и аватаров. Лицензия — OpenRAIL++; условия и ограничения использования следует сверять с её текстом.

Сценарии применения

  • создание видео человека с произвольного ракурса по разреженным многовидовым записям
  • рендеринг человеческих выступлений с новой точки обзора
  • генерация многовидового видео для цифрового аватара

Ограничения

Модель рассчитана на синтез человеческих выступлений по разреженным многовидовым видео; качество для других типов сцен не заявлено. README не содержит подробных инструкций по использованию.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Diffuman4D Model

Project Page | Paper | Code | Dataset

The official model repo for Diffuman4D: 4D Consistent Human View Synthesis from Sparse-View Videos with Spatio-Temporal Diffusion Models.

Diffuman4D enables high-fidelity free-viewpoint rendering of human performances from sparse-view videos.

Usage

See the GitHub repo for detailed usage.

Cite

@inproceedings{jin2025diffuman4d,
  title={Diffuman4D: 4D Consistent Human View Synthesis from Sparse-View Videos with Spatio-Temporal Diffusion Models},
  author={Jin, Yudong and Peng, Sida and Wang, Xuan and Xie, Tao and Xu, Zhen and Yang, Yifan and Shen, Yujun and Bao, Hujun and Zhou, Xiaowei},
  booktitle={International Conference on Computer Vision (ICCV)},
  year={2025}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели «видео → видео» пока не запускаются.

Ревизия весов
bb28eb2

0 моделей