/ Модель

Характеристики

Лицензия
CreativeML OpenRAIL-M
Опубликована
5 янв 2023

Protogen_x5.3_Official_Release

Генерация изображенийТекст → изображение3 профессии

Protogen x5.3 — дообученная на базе Stable Diffusion модель для генерации фотореалистичных изображений людей и окружения по текстовому описанию.

398скачиваний за 30 дней104лайкавеса обновлены27 янв 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Изображения» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели сгенерируют результат по каждой задаче. Опубликованный тест появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Protogen x5.3 — модель генерации изображений по текстовому описанию от darkstorm2150, основанная на Stable Diffusion 1.5 и дообученная на основе darkstorm2150/Protogen_x3.4_Official_Release. Она ориентирована на фотореалистичные изображения людей и окружения; автор отмечает улучшенную генерацию при разрешении от 768 до 1024 пикселей и пригодность для дальнейшей настройки в стиле DreamBooth.

Модель принимает текстовые запросы и создаёт изображения. Доступны веса в форматах Diffusers, PyTorch и Safetensors, включая версии в fp16. Для лицензии CreativeML OpenRAIL-M действуют условия использования, приведённые в самой лицензии.

Карточка предупреждает о склонности модели к откровенным изображениям и рекомендует добавлять nude и naked в негативный запрос, если такой контент нежелателен. Указанные характеристики генерации основаны на описании автора и не сопровождаются в карточке количественной оценкой качества.

Сценарии применения

  • генерация фотореалистичных портретов по тексту
  • создание изображений людей в заданной обстановке
  • генерация реалистичных сцен и окружения
  • создание изображений в стиле фотосъёмки
  • подготовка модели к персонализации через DreamBooth

Ограничения

Автор предупреждает о склонности модели к генерации откровенных изображений; негативный запрос с nude и naked может снизить вероятность такого результата. Характеристики качества и разрешения приведены автором без количественной оценки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Table of contents

General info

Protogen x5.3 - One Step Closer to Reality by darkstorm2150

Protogen was warm-started with Stable Diffusion v1-5 and continued fine-tuned from darkstorm2150/Protogen_x3.4_Official_Release Robodiffusion has been removed and 10% Dreamlike-PhotoReal V.2 added, the result is better sampling at 768px to 1024px of humans and surroundings, The results are immediate!!!

Also this bad boy comes with a license, so do please read it, thank you!

  • Model control

Now its recommended that you add nude, naked to your negative prompts, its a horny model, well 10% but still....cant be too careful!

As for realism, you can use this template

modelshoot style, (extremely detailed 8k wallpaper),a medium shot photo of a (what you want here), Intricate, High Detail, dramatic

It should also be very "dreambooth-able", being able to generate high fidelity faces with a little amount of steps (see dreambooth).

Granular Adaptive Learning

Granular adaptive learning is a machine learning technique that focuses on adjusting the learning process at a fine-grained level, rather than making global adjustments to the model. This approach allows the model to adapt to specific patterns or features in the data, rather than making assumptions based on general trends.

Granular adaptive learning can be achieved through techniques such as active learning, which allows the model to select the data it wants to learn from, or through the use of reinforcement learning, where the model receives feedback on its performance and adapts based on that feedback. It can also be achieved through techniques such as online learning where the model adjust itself as it receives more data.

Granular adaptive learning is often used in situations where the data is highly diverse or non-stationary and where the model needs to adapt quickly to changing patterns. This is often the case in dynamic environments such as robotics, financial markets, and natural language processing.

Setup

To run this model, download the model.ckpt and install it in your "stable-diffusion-webui\models\Stable-diffusion" directory

Space

We support a Gradio Web UI: Open In Spaces

CompVis

CKPT

Download ProtoGen x5.3.ckpt (4.27GB)

Download ProtoGen x5.3-pruned-fp16.ckpt (1.89GB)

Safetensors

Download ProtoGen x5.3.safetensors (4.27GB)

Download ProtoGen x5.3-pruned-fp16.safetensors (1.89GB)

🧨 Diffusers

This model can be used just like any other Stable Diffusion model. For more information, please have a look at the Stable Diffusion Pipeline.

from diffusers import StableDiffusionPipeline, DPMSolverMultistepScheduler
import torch

prompt = (
"modelshoot style, (extremely detailed CG unity 8k wallpaper), full shot body photo of the most beautiful artwork in the world, "
"english medieval witch, black silk vale, pale skin, black silk robe, black cat, necromancy magic, medieval era, "
"photorealistic painting by Ed Blinkey, Atey Ghailan, Studio Ghibli, by Jeremy Mann, Greg Manchess, Antonio Moro, trending on ArtStation, "
"trending on CGSociety, Intricate, High Detail, Sharp focus, dramatic, photorealistic painting art by midjourney and greg rutkowski"
)

model_id = "darkstorm2150/Protogen_v5.3_Official_Release"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
pipe = pipe.to("cuda")

image = pipe(prompt, num_inference_steps=25).images[0]

image.save("./result.jpg")

PENDING DATA FOR MERGE, RPGv2 not accounted..

Checkpoint Merging Data Reference

License

By downloading you agree to the terms of these licenses

CreativeML Open RAIL-M

Dreamlike License

Seek Art Mega License

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Ревизия весов
9c70c6e

0 моделей