/ Модель

Характеристики

Размер весов
4,4 ГБ
Лицензия
Apache 2.0
Библиотека
diffusers
Опубликована
7 ноя 2024

yoso-normal-v1-5

Преобразование изображенийИзображение, текст → изображение3 профессии

StableNormal преобразует изображение в чёткую карту нормалей для оценки ориентации поверхностей.

461скачиваний за 30 дней2лайкавеса обновлены10 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

StableNormal — модель, представленная в репозитории Stable-X/yoso-normal-v1-5. Она предназначена для преобразования изображения в карту нормалей: по входному изображению оценивает направление поверхности в каждой точке. Веса распространяются для библиотеки Diffusers и относятся к pipeline YOSONormalsPipeline.

Название карточки указывает на подход к получению стабильных и чётких карт нормалей с использованием диффузионной модели. Репозиторий содержит файлы в форматах Diffusers и safetensors. Лицензия — Apache-2.0.

Для установки и примера запуска карточка отсылает к GitHub-репозиторию, но в README нет подробностей об обучении, поддерживаемых входных данных или измеренных ограничениях качества.

Сценарии применения

  • создание карты нормалей по изображению
  • оценка ориентации поверхностей в сцене
  • подготовка геометрических признаков для компьютерной графики
  • извлечение карт нормалей для дальнейшей обработки изображений

Ограничения

README не описывает ограничения качества и рекомендуемые условия применения; подробности запуска вынесены в GitHub-репозиторий.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for StableNormal

This repository contains the weights of StableNormal: Reducing Diffusion Variance for Stable and Sharp Normal

Usage

See the Github repository: https://github.com/Stable-X/StableNormal regarding installation instructions.

The model can then be used as follows:

import torch
from PIL import Image

# Load an image
input_image = Image.open("path/to/your/image.jpg")

# Create predictor instance
predictor = torch.hub.load("hugoycj/StableNormal", "StableNormal_turbo", trust_repo=True, yoso_version='yoso-normal-v1-5')

# Generate normal map using alpha channel for masking
normal_map = predictor(rgba_image, data_type="object")  # Will mask out background, if alpha channel is avalible, else use birefnet
normal_map = predictor(rgba_image, data_type="outdoor")  # Will use Mask2Former to mask out sky and plants
normal_map = predictor(rgba_image, data_type="indoor") # Will not mask out

# Apply the model to the image
normal_image = predictor(input_image)

# Save or display the result
normal_image.save("output/normal_map.png")

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · diffusers

Нельзя запустить

Модели «картинка → картинка» пока не запускаются.

Ревизия весов
6f85465

0 моделей