Характеристики

Лицензия: CC BY-NC 4.0
Опубликована: 4 мар 2024

Ссылки

openlrm-mix-large-1.1

Производная модели zxhezexin/openlrm-mix-small-1.1. OpenLRM Mix Small 1.1 восстанавливает трёхмерное представление объекта по входному изображению.

239скачиваний за 30 дней6лайковвеса обновлены6 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Карточка модели zxhezexin/openlrm-mix-large-1.1 на Hugging Face совпадает с карточкой zxhezexin/openlrm-mix-small-1.1, поэтому описание составлено по ней.

OpenLRM Mix Small 1.1 — версия 1.1 открытой реализации проекта OpenLRM по статье LRM. Это модель для восстановления трёхмерного представления объекта по изображению. Вариант small использует 12 слоёв, размерность признаков 512, 8 голов внимания, триплоскость размерности 32 и входное разрешение 224 пикселя; в качестве визуального энкодера применяется DINOv2 ViT-S/14 с register-токенами. Размер указанной в карточке архитектуры small — 446 млн параметров.

Модель обучалась на Objaverse. Реализация отличается от оригинальной статьи отказом от отложенного обратного распространения ошибки, случайными цветами фона при обучении и четырёхслойным декодером триплоскостей. Карточка описывает её как неофициальную реализацию, поэтому результаты могут отличаться от оригинального исследования. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

Сценарии применения

создание 3D-представления объекта по изображению
восстановление геометрии объекта по его фотографии
подготовка 3D-объектов для исследовательских экспериментов
оценка методов реконструкции 3D по одному изображению

Ограничения

Это неофициальная реализация LRM, и её результаты могут отличаться от оригинала. Модель предоставляется без гарантий; лицензия CC BY-NC 4.0 ограничивает использование некоммерческими целями.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.1Отраслевые задачиРитейл, электронная коммерция и fashion-techAI помогает управлять ассортиментом, покупательским опытом и эффективностью торговых операций.29 задач5 934модели IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for OpenLRM V1.1

Overview

This model card is for the OpenLRM project, which is an open-source implementation of the paper LRM.
Information contained in this model card corresponds to Version 1.1.

Model Details

Training data

Model	Training Data
openlrm-obj-small-1.1	Objaverse
openlrm-obj-base-1.1	Objaverse
openlrm-obj-large-1.1	Objaverse
openlrm-mix-small-1.1	Objaverse + MVImgNet
openlrm-mix-base-1.1	Objaverse + MVImgNet
openlrm-mix-large-1.1	Objaverse + MVImgNet

Model architecture (version==1.1)

Type Layers Feat. Dim Attn. Heads Triplane Dim. Input Res. Image Encoder Size
small 12 512 8 32 224 dinov2_vits14_reg 446M
base 12 768 12 48 336 dinov2_vitb14_reg 1.04G
large 16 1024 16 80 448 dinov2_vitb14_reg 1.81G
Training settings

Type Rend. Res. Rend. Patch Ray Samples
small 192 64 96
base 288 96 96
large 384 128 128

Type	Layers	Feat. Dim	Attn. Heads	Triplane Dim.	Input Res.	Image Encoder	Size
small	12	512	8	32	224	dinov2_vits14_reg	446M
base	12	768	12	48	336	dinov2_vitb14_reg	1.04G
large	16	1024	16	80	448	dinov2_vitb14_reg	1.81G

Type	Rend. Res.	Rend. Patch	Ray Samples
small	192	64	96
base	288	96	96
large	384	128	128

Notable Differences from the Original Paper

We do not use the deferred back-propagation technique in the original paper.
We used random background colors during training.
The image encoder is based on the DINOv2 model with register tokens.
The triplane decoder contains 4 layers in our implementation.

License

The model weights are released under the Creative Commons Attribution-NonCommercial 4.0 International License.
They are provided for research purposes only, and CANNOT be used commercially.

Disclaimer

This model is an open-source implementation and is NOT the official release of the original research paper. While it aims to reproduce the original results as faithfully as possible, there may be variations due to model implementation, training data, and other factors.

Ethical Considerations

This model should be used responsibly and ethically, and should not be used for malicious purposes.
Users should be aware of potential biases in the training data.
The model should not be used under the circumstances that could lead to harm or unfair treatment of individuals or groups.

Usage Considerations

The model is provided "as is" without warranty of any kind.
Users are responsible for ensuring that their use complies with all relevant laws and regulations.
The developers and contributors of this model are not liable for any damages or losses arising from the use of this model.

This model card is subject to updates and modifications. Users are advised to check for the latest version regularly.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

3D-генерация пока не поддерживается.

Ревизия весов: 43d96c7