/ Модель

Характеристики

Лицензия
MIT
Опубликована
15 мар 2024

Isotropic3D

Языковая модель

Isotropic3D использует одно изображение и CLIP-эмбеддинг, чтобы диффузионным способом сгенерировать изображения объекта с нескольких ракурсов для задачи image-to-3d.

0скачиваний за 30 дней11лайковвеса обновлены19 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Isotropic3D — модель для генерации 3D-представлений по одному изображению. В карточке она описана как модель, основанная на одном CLIP-эмбеддинге; внутри используется диффузионная модель, которая генерирует несколько ракурсов входного изображения.

Модель предназначена для сценариев преобразования изображения в 3D. Метаданные указывают задачу image-to-3d и формат PyTorch. Репозиторий содержит исходную модель, лицензия — MIT.

Карточка не приводит сведений о размере модели, поддерживаемых языках, качестве реконструкции или ограничениях генерации; поэтому их нельзя оценить по имеющимся данным.

Сценарии применения

  • создание многовидового представления объекта по одной фотографии
  • подготовка ракурсов объекта для дальнейшей 3D-реконструкции
  • генерация дополнительных видов объекта из исходного изображения

Ограничения

Карточка сообщает о генерации нескольких ракурсов, но не описывает точность геометрии, поддерживаемые типы объектов и качество результата; для оценки этих характеристик нужны дополнительные сведения.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Isotropic3D

Model card for Isotropic3D: Image-to-3D Generation Based on a Single CLIP Embedding.

Project Page: https://isotropic3d.github.io/

arXiv: https://arxiv.org/abs/2403.10395

Source Code: https://github.com/pkunliu/Isotropic3D

mvd.png

The model contains a diffusion model to generate multi-view images from single input image.

Citation

@article{liu2024isotropic3d,
  title={Isotropic3D: Image-to-3D Generation Based on a Single CLIP Embedding}, 
  author={Liu, Pengkun and Wang, Yikai and Sun, Fuchun and Li, Jiafang and Xiao, Hang and Xue, Hongxiang and Wang, Xinzhou},
  journal={arXiv preprint arXiv:2403.10395},
  year={2024}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

3D-генерация пока не поддерживается.

Ревизия весов
08df2c1

0 моделей