/ Модель

Характеристики

Лицензия
MIT
Опубликована
6 мар 2024

CRM

Языковая модель

CRM преобразует одно изображение объекта в текстурированную 3D-сетку с помощью генерации дополнительных видов и реконструкции.

0скачиваний за 30 дней61лайквеса обновлены11 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

CRM (Convolutional Reconstruction Model) — модель для создания текстурированной 3D-сетки по одному изображению. В конвейере диффузионная модель генерирует несколько видов объекта, другая диффузионная модель создаёт CCM, а модель реконструкции на основе UNet формирует итоговую сетку с текстурами.

Модель предназначена для преобразования изображения объекта в его 3D-представление. Репозиторий содержит веса PyTorch; лицензия — MIT. Карточка не сообщает размер модели, поддерживаемые языки или ограничения качества.

Сценарии применения

  • создание текстурированной 3D-модели объекта по фотографии
  • подготовка 3D-ассетов для визуализации
  • реконструкция объекта для 3D-контента по одному изображению

Ограничения

Результат строится по одному изображению через генерацию дополнительных ракурсов, поэтому детали, не видимые на исходном изображении, могут быть реконструированы неточно. В карточке нет сведений о точности и условиях применения.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Convolutional Reconstruction Model

Model card for CRM: Single Image to 3D Textured Mesh with Convolutional Reconstruction Model.

Project Page: https://ml.cs.tsinghua.edu.cn/~zhengyi/CRM/

Arxiv: https://arxiv.org/abs/2403.05034

image/jpeg

The model contains a diffusion model to generate multi-view images from single input image, another difffusion to generate CCMs, and a UNet-based reconstruction model to get the final textured mesh.

Citation

@article{wang2024crm,
  title={CRM: Single Image to 3D Textured Mesh with Convolutional Reconstruction Model},
  author={Zhengyi Wang and Yikai Wang and Yifei Chen and Chendong Xiang and Shuo Chen and Dajiang Yu and Chongxuan Li and Hang Su and Jun Zhu},
  journal={arXiv preprint arXiv:2403.05034},
  year={2024}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

3D-генерация пока не поддерживается.

Ревизия весов
36283fd

0 моделей