/ Модель
Каталог

Характеристики

Лицензия
Своя лицензия
Опубликована
14 дек 2023

Ссылки

Hugging Face

stable-zero123

model-hub
Языковая модель

Stable Zero123 генерирует изображения объекта с новых ракурсов и помогает создавать 3D-модели по изображению с помощью SDS.

0скачиваний за 30 дней6лайковвеса обновлены14 дек 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Stable Zero123 — модель Stability AI для генерации изображений объекта с новых ракурсов по входному изображению. Она основана на латентной диффузии и дообучена на lambdalabs/sd-image-variations-diffusers с улучшенной отрисовкой данных и стратегиями кондиционирования; в README заявлено улучшение относительно Zero123 и Zero123-XL.

В сочетании с методом Score Distillation Sampling (SDS) модель позволяет получать 3D-модели по изображению. Генерацию 3D по тексту можно построить в два этапа: сначала создать изображение с помощью SDXL, затем применить SDS со Stable Zero123. Обучение использовало рендеры из Objaverse.

Модель принимает изображения и генерирует изображения новых ракурсов; сама по себе она не является прямым генератором 3D-данных, а применение SDS входит в описанный процесс построения 3D-моделей. Лицензия Stability AI Non-Commercial Research Community License ограничивает коммерческое использование: для коммерческих продуктов или целей требуется обратиться к Stability AI.

Сценарии применения

  • генерация объекта с новых ракурсов по одному изображению
  • создание 3D-модели объекта из изображения с помощью SDS
  • построение 3D-объекта по текстовому запросу через предварительную генерацию изображения

Ограничения

Для получения 3D-моделей требуется внешняя процедура SDS; текстовый сценарий также предполагает предварительную генерацию изображения с SDXL. Коммерческое использование требует согласования с Stability AI по условиям лицензии.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Stable Zero123

Model Description

Stable Zero123 is a model for view-conditioned image generation based on Zero123.

With improved data rendering and model conditioning strategies, our model demonstrates improved performance when compared to the original Zero123 and its subsequent iteration, Zero123-XL.

Usage

By using Score Distillation Sampling (SDS) along with the Stable Zero123 model, we can produce high-quality 3D models from any input image. The process can also extend to text-to-3D generation by first generating a single image using SDXL and then using SDS on Stable Zero123 to generate the 3D object.

To enable open research in 3D object generation, we've improved the open-source code of threestudio by supporting Zero123 and Stable Zero123. To use Stable Zero123 for object 3D mesh generation in threestudio, you can follow these steps:

  1. Install threestudio using their instructions
  2. Download the Stable Zero123 checkpoint stable_zero123.ckpt into the load/zero123/ directory
  3. Take an image of your choice, or generate it from text using your favourite AI image generator such as SDXL Turbo (https://clipdrop.co/stable-diffusion-turbo) E.g. "A simple 3D render of a friendly dog"
  4. Remove its background using Clipdrop (https://clipdrop.co/remove-background)
  5. Save to load/images/, preferably with _rgba.png as the suffix
  6. Run Zero-1-to-3 with the Stable Zero123 ckpt:
python launch.py --config configs/stable-zero123.yaml --train --gpu 0 data.image_path=./load/images/hamburger_rgba.png

Model Details

Training Dataset

We use renders from the Objaverse dataset, utilizing our enhanced rendering method

Training Infrastructure

  • Hardware: Stable Zero123 was trained on the Stability AI cluster on a single node with 8 A100 80GBs GPUs.
  • Code Base: We use our modified version of the original zero123 repository.

Misuse, Malicious Use, and Out-of-Scope Use

The model should not be used to intentionally create or disseminate images that create hostile or alienating environments for people. This includes generating images that people would foreseeably find disturbing, distressing, or offensive; or content that propagates historical or current stereotypes.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

3D-генерация пока не поддерживается.

Ревизия весов
265b1f5

0 моделей

    Создать бенчмарк