/ Модель

Характеристики

Лицензия
OpenRAIL++
Опубликована
25 дек 2022

texture-diffusion

Генерация изображенийТекст → изображение3 профессии

DreamBooth-модель на базе Stable Diffusion для генерации плоских PBR-текстур по текстовым запросам с токеном «pbr».

74скачиваний за 30 дней138лайковвеса обновлены27 янв 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Изображения» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели сгенерируют результат по каждой задаче. Опубликованный тест появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Texture Diffusion — модель DreamBooth, дообученная для генерации бесшовно выглядящих плоских текстур с минимально заметными тенями и освещением. Она предназначена для создания материалов и поверхностей по текстовым запросам; для активации нужного стиля в запрос добавляют токен «pbr». Модель обучена на 278 текстурах PolyHaven с лицензией CC0 и распространяется в форматах Diffusers и PyTorch. Лицензия модели — OpenRAIL++.

Модель основана на Stable Diffusion и использует пайплайн text-to-image. В примерах указано 50 шагов генерации. Карточка демонстрирует текстуры каменной стены, грязи с сорняками и белого мрамора. Размер модели, контекст и поддерживаемые языки карточка не описывает; текстовые запросы служат условием генерации изображений.

Сценарии применения

  • создание текстуры каменной стены по описанию
  • генерация текстуры грязи с сорняками
  • создание текстуры белого мрамора
  • подготовка плоских материалов для 3D-сцен и игровых ассетов

Ограничения

Модель специализирована на текстурах и может хуже подходить для генерации обычных сцен или изображений с выраженным освещением и тенями. Для вызова обученного стиля рекомендуется добавлять в запрос токен «pbr».

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Texture Diffusion

This DreamBooth model is fine-tuned for diffuse textures. It produces flat textures with very little visible lighting/shadows.

Samples

Here are a few example images (generated with 50 steps).

pbr uneven stone wallpbr dirt with weedspbr bright white marble

Usage

Use the token pbr in your prompts to invoke the style.

This model was made for use in Dream Textures, a Stable Diffusion add-on for Blender.

You can also use it with 🧨 diffusers:

from diffusers import StableDiffusionPipeline
import torch

model_id = "dream-textures/texture-diffusion"

pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "pbr brick wall"
image = pipe(prompt).images[0]  
    
image.save("bricks.png")

Training Details

  • Base Model: stabilityai/stable-diffusion-2-base
  • Resolution: 512
  • Prior Loss Weight: 1.0
  • Class Prompt: texture
  • Batch Size: 1
  • Learning Rate: 1e-6
  • Precision: fp16
  • Steps: 4000
  • GPU: Tesla T4

Dataset

This model was trained on 278 CC0 textures from PolyHaven.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Ревизия весов
981e240

0 моделей