/ Модель

Характеристики

Лицензия
OpenRAIL
Опубликована
25 ноя 2023

ImageDream

Языковая модель

ImageDream — диффузионная модель, которая создаёт 3D-контент по входному изображению.

0скачиваний за 30 дней39лайковвеса обновлены5 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ImageDream — модель диффузии для создания 3D-представлений по входному изображению, связанная с одноимённой научной работой. В репозитории размещены веса ImageDream-Pixel с pixel-controller и вариант без pixel-controller; оба дообучены на основе MVDream v2.1.

Модель предназначена для преобразования изображения в 3D-контент. В карточке не приведены сведения о размере, длине контекста или поддерживаемых языках. Указана лицензия OpenRAIL. Разработчики предостерегают от использования модели для создания или распространения изображений, которые могут причинять людям тревогу или оскорблять их, а также для распространения стереотипов.

Сценарии применения

  • создание 3D-представления объекта по изображению
  • преобразование референсного изображения в 3D-контент
  • генерация 3D-вариантов по входному изображению

Ограничения

В карточке не описаны количественные показатели качества и ограничения по типам входных изображений. Разработчики предостерегают от генерации оскорбительного или тревожащего контента и изображений, распространяющих стереотипы.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ImageDream Model Card

This model card focuses on the model associated with the ImageDream paper

See also: https://github.com/ByteDance/ImageDream for code base.

Description of Files

sd-v2.1-base-4view-ipmv.pt

  • the ImageDream-Pixel diffusion model fine-tuned from MVDream v2.1

sd-v2.1-base-4view-ipmv-local.pt

  • the ImageDream diffusion model without pixel-controller tuned from MVDream v2.1

Citation

@article{wang2023imagedream,
  title={ImageDream: Image-Prompt Multi-view Diffusion for 3D Generation},
  author={Wang, Peng and Shi, Yichun},
  journal={arXiv preprint arXiv:2312.02201},
  year={2023}
}

Misuse, Malicious Use, and Out-of-Scope Use

The model should not be used to intentionally create or disseminate images that create hostile or alienating environments for people. This includes generating images that people would foreseeably find disturbing, distressing, or offensive; or content that propagates historical or current stereotypes.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

3D-генерация пока не поддерживается.

Ревизия весов
4d59c6c

0 моделей