/ Модель

Характеристики

Лицензия
Своя лицензия
Базовая модель
stable-diffusion-3.5-medium
Опубликована
6 янв 2025

SD3.5M-Controlnet-Depth

Генерация изображенийТекст → изображение3 профессии

Дообученная модель Stable Diffusion 3.5 Medium для генерации изображений по тексту с контролем композиции по карте глубины.

79скачиваний за 30 дней2лайкавеса обновлены6 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

TensorArt Stable Diffusion 3.5 Medium ControlNet Depth — дообученная модель на базе stabilityai/stable-diffusion-3.5-medium для генерации изображений с управлением по карте глубины. Она предназначена для сценариев, где нужно задавать текстовое описание и использовать глубину сцены, чтобы влиять на композицию и расположение объектов.

Модель относится к семейству Stable Diffusion 3.5 Medium, использует формат safetensors и предназначена для задачи text-to-image. В метаданных указан английский язык карточки; базовая модель описана как MMDiT-X. Лицензия обозначена как other, поэтому конкретные условия использования следует сверять с лицензией репозитория и базовой модели.

Сценарии применения

  • генерация изображений по текстовому описанию с заданной глубиной сцены
  • управление расположением объектов и перспективой при создании изображения
  • создание вариантов сцены с сохранением структуры карты глубины

Ограничения

Точная длина контекста и дополнительные ограничения качества в карточке не приведены. Условия лицензии указаны как other и требуют проверки в репозитории.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

TensorArt Stable Diffusion 3.5 Medium ControlNet Depth

With SD3.5M

import torch
from diffusers import StableDiffusion3ControlNetPipeline
from diffusers import SD3ControlNetModel
from diffusers.utils import load_image

controlnet = SD3ControlNetModel.from_pretrained("tensorart/SD3.5M-Controlnet-Depth")
pipe = StableDiffusion3ControlNetPipeline.from_pretrained(
    "stabilityai/stable-diffusion-3.5-medium",
    controlnet=controlnet
)
pipe.to("cuda", torch.float16)

control_image = load_image("https://huggingface.co/tensorart/SD3.5M-Controlnet-Depth/resolve/main/asset/depth.png")
prompt = "A cyberpunk man"
negative_prompt = "low quality, worst quality, deformed, distorted, disfigured, motion smear, motion artifacts, fused fingers, bad anatomy, weird hand, ugly, monochrome"

image = pipe(
    prompt, 
    num_inference_steps=30,
    negative_prompt=negative_prompt, 
    control_image=control_image, 
    guidance_scale=4.5,
).images[0]
image.save('image.jpg')

With TensorArt's SD3.5M Turbo

import torch
from diffusers import StableDiffusion3ControlNetPipeline
from diffusers import SD3ControlNetModel
from diffusers.utils import load_image

controlnet = SD3ControlNetModel.from_pretrained("tensorart/SD3.5M-Controlnet-Depth")
pipe = StableDiffusion3ControlNetPipeline.from_pretrained(
    "tensorart/stable-diffusion-3.5-medium-turbo",
    controlnet=controlnet
)
pipe.to("cuda", torch.float16)

control_image = load_image("https://huggingface.co/tensorart/SD3.5M-Controlnet-Depth/resolve/main/asset/depth.png")
prompt = "A cyberpunk man"
negative_prompt = "low quality, worst quality, deformed, distorted, disfigured, motion smear, motion artifacts, fused fingers, bad anatomy, weird hand, ugly, monochrome"

image = pipe(
    prompt, 
    num_inference_steps=8,
    negative_prompt=negative_prompt, 
    control_image=control_image, 
    guidance_scale=1.5
).images[0]
image.save('image.jpg')

Contact

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Базовая модель stabilityai/stable-diffusion-3.5-medium закрыта автором (gated): у платформы нет доступа к её весам.

Ревизия весов
8d677da

0 моделей