/ Модель
Каталог

Характеристики

Лицензия
Своя лицензия
Базовая модель
stable-diffusion-3.5-medium
Опубликована
6 янв 2025

Ссылки

Hugging Face

SD3.5M-Controlnet-Canny

tensorart
Генерация изображенийТекст → изображение

Дообученная модель Stable Diffusion 3.5 Medium создаёт изображения по тексту с управлением по контурам Canny.

347скачиваний за 30 дней2лайкавеса обновлены7 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

TensorArt Stable Diffusion 3.5 Medium ControlNet Canny — дообученная модель на базе stabilityai/stable-diffusion-3.5-medium для генерации изображений по текстовому запросу с управлением композицией по карте контуров Canny. Карточка показывает примеры использования с SD3.5M и TensorArt SD3.5M Turbo; веса доступны в формате safetensors.

Модель предназначена для создания изображений, сохраняющих структуру и контуры заданного изображения, при этом содержание и стиль задаются текстом. Базовая модель Stability AI использует архитектуру MMDiT-X. Язык в метаданных — английский; лицензия указана как other, поэтому конкретные условия следует проверять в карточке репозитория и лицензии базовой модели.

Сценарии применения

  • генерация изображения по текстовому описанию с сохранением заданных контуров
  • преобразование фотографии или эскиза в изображение выбранного стиля
  • создание вариаций изображения с заданной композицией
  • генерация изображений с контрольной картой Canny

Ограничения

Для управления по контурам требуется входная карта Canny и совместимый конвейер; README приводит примеры с SD3.5M и TensorArt SD3.5M Turbo. Условия лицензии обозначены как other и требуют проверки в карточке модели.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

TensorArt Stable Diffusion 3.5 Medium ControlNet Canny

With SD3.5M

import torch
from diffusers import StableDiffusion3ControlNetPipeline
from diffusers import SD3ControlNetModel
from diffusers.utils import load_image

controlnet = SD3ControlNetModel.from_pretrained("tensorart/SD3.5M-Controlnet-Canny")
pipe = StableDiffusion3ControlNetPipeline.from_pretrained(
    "stabilityai/stable-diffusion-3.5-medium",
    controlnet=controlnet
)
pipe.to("cuda", torch.float16)

control_image = load_image("https://huggingface.co/tensorart/SD3.5M-Controlnet-Canny/resolve/main/asset/canny.png")
prompt = "An eye"
negative_prompt = "low quality, worst quality, deformed, distorted, disfigured, motion smear, motion artifacts, fused fingers, bad anatomy, weird hand, ugly, monochrome"

image = pipe(
    prompt, 
    num_inference_steps=30,
    negative_prompt=negative_prompt, 
    control_image=control_image, 
    guidance_scale=4.5,
    controlnet_conditioning_scale=0.8
).images[0]
image.save('image.jpg')

With TensorArt's SD3.5M Turbo

import torch
from diffusers import StableDiffusion3ControlNetPipeline
from diffusers import SD3ControlNetModel
from diffusers.utils import load_image

controlnet = SD3ControlNetModel.from_pretrained("tensorart/SD3.5M-Controlnet-Canny")
pipe = StableDiffusion3ControlNetPipeline.from_pretrained(
    "tensorart/stable-diffusion-3.5-medium-turbo",
    controlnet=controlnet
)
pipe.to("cuda", torch.float16)

control_image = load_image("https://huggingface.co/tensorart/SD3.5M-Controlnet-Canny/resolve/main/asset/canny.png")
prompt = "An eye"
negative_prompt = "low quality, worst quality, deformed, distorted, disfigured, motion smear, motion artifacts, fused fingers, bad anatomy, weird hand, ugly, monochrome"

image = pipe(
    prompt, 
    num_inference_steps=8,
    negative_prompt=negative_prompt, 
    control_image=control_image, 
    guidance_scale=1.5,
    controlnet_conditioning_scale=0.8
).images[0]
image.save('image.jpg')

Contact

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Базовая модель stabilityai/stable-diffusion-3.5-medium закрыта автором (gated): у платформы нет доступа к её весам.

Ревизия весов
068c3d8

0 моделей

    Создать бенчмарк