/ Модель

Характеристики

Лицензия
Своя лицензия
Библиотека
diffusers
Опубликована
1 мая 2023

luna-diffusion-v2.5

Генерация изображенийТекст → изображение3 профессии

Luna Diffusion v2.5 — дообученная на Stable Diffusion 1.5 модель для создания более реалистичных и детализированных изображений по текстовым запросам.

69скачиваний за 30 дней6лайковвеса обновлены11 мая 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Изображения» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели сгенерируют результат по каждой задаче. Опубликованный тест появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Luna Diffusion v2.5 — дообученная пользователем proximasanfinetuning модель генерации изображений на основе Stable Diffusion 1.5. Она создаёт изображения по текстовым описаниям и рассчитана на более реалистичные результаты с улучшенной проработкой глаз и анатомии, повышенными контрастом и резкостью. При этом выраженный живописный стиль стал слабее, но его можно усилить словом «painting» в запросе; слово «illustration» помогает получить вид векторной иллюстрации.

Модель дообучена на нескольких сотнях изображений высокого разрешения с преимущественно ручными подписями. Рекомендуемые размеры — 768×768, 512×768 и 768×512 пикселей; при 512×512 результат может выглядеть чрезмерно обработанным. Выбор веб-интерфейса, VAE, sampler, CFG и формулировки запросов влияет на резкость и текстуру кожи; при артефактах автор рекомендует использовать VAE из примера. Модель опубликована в форматах Diffusers, PyTorch и Safetensors под лицензией other; условия этой лицензии в предоставленных данных не раскрыты. Автор отмечает склонность модели к изображению обнажённой груди и советует добавлять соответствующие слова в negative prompt, если это нежелательно.

Сценарии применения

  • создание реалистичных портретов по описанию
  • генерация изображений с более детализированной анатомией и глазами
  • создание живописных изображений по запросу с пометкой painting
  • генерация иллюстраций с векторным видом по запросу illustration
  • создание изображений высокого разрешения в форматах 768×768 и 512×768

Ограничения

Для лучших результатов рекомендуются размеры 768×768, 512×768 или 768×512; квадратный формат 512×512 может выглядеть чрезмерно обработанным. Модель может усиливать текстуру кожи и склонна генерировать обнажённую грудь; результат также зависит от интерфейса, VAE, sampler и настроек CFG.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

→ about

  • a new version of Luna Diffusion with more realism. is it better? probably subjective
  • painterly style is less strong, but details like eyes and overall anatomy have improved, & has more contrast, sharpness
  • skin texture is also stronger, which can be a good or a bad thing depending on your preferences (personally i've had enough of airbrushed skin so i like it) and your setup -> for example, output with the a1111 web ui looks softer than the one made with the vladmandic fork. might require more adjustments with cfg scale or prompts than the previous version depending on that
  • use this VAE if your images come out fried
  • also checking "Enable quantization in K samplers for sharper and cleaner results. This may change existing seeds. Requires restart to apply." in Settings -> Stable Diffusion in the Web UI can help


  • finetuned on a few hundred & mostly hand-captioned highres images on SD 1.5
  • no trigger words/ tokens, but you can add "painting" to the prompt to get the painterly effect
  • use "illustration" in prompts to get more vector art looking images
  • works best at 768x768 px, 512x768 px or 768x512 px since it was finetuned on 768x768, so 512x512 will look overbaked
  • DPM++ 2M looks usually nice and crisp, use Euler_a for a more softer look. UniPC seems somewhere inbetween
  • i recommend adding “nude, naked” to your negative prompt if you don’t like boobas because this model certainly does (¬‿¬ )
  • check my older blog entry for more examples of the previous version, comparisons and tips on settings

🧨 Diffusers

This model can be used just like any other Stable Diffusion model. For more information, please have a look at the Stable Diffusion Pipeline.

from diffusers import StableDiffusionPipeline
import torch

model_id = "proximasanfinetuning/luna-diffusion-v2.5"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "painting of a beautiful woman with red hair, 8k, high quality"
image = pipe(prompt, height=768, width=768).images[0]

image.save("./result.jpg")

you can also get it as Safetensors


→ some comparisons


→ example settings on A1111 web ui

  • prompt: "painting, portrait of a beautiful woman, soft lighting, surrounded by flowers, urban city background, high quality, black purple iridescent hair"
  • sampler: UniPC
  • steps: 12
  • CFG scale: 6
  • 768 x 768
  • VAE: vae-ft-mse-840000-ema-pruned.ckpt

if you enjoy this consider buying me a coffee or becoming a monthly supporter

(ノ◕ヮ◕)ノ*:・゚✧


license

This model is licensed under a modified CreativeML OpenRAIL-M license.

  • Utilizing and hosting the Luna Diffusion model and its derivatives on platforms that earn, will earn, or plan to earn revenue or donations requires prior authorization. To request permission, please email proximasan@protonmail.com.
  • You are permitted to host the model card and files on both commercial and non-commercial websites, apps, etc. as long as you properly credit the model by stating its full name and providing a link to the model card (https://huggingface.co/proximasanfinetuning/luna-diffusion-v2.5), without performing any actual inference or finetuning.
  • The Luna Diffusion model and its derivatives can be hosted on non-commercial websites, apps, etc. as long as no revenue or donations are received. Proper credit must be given by stating the full model name and including a link to the model card (https://huggingface.co/proximasanfinetuning/luna-diffusion-v2.5).
  • The outputs of the model or its derivatives can be used for commercial purposes as long as the usage is limited to teams of 10 or fewer individuals.
  • You can't use the model to deliberately produce nor share illegal or harmful outputs or content
  • The authors claims no rights on the outputs you generate, you are free to use them and are accountable for their use which must not go against the provisions set in the license
  • You may re-distribute the weights. If you do, please be aware you have to include the same use restrictions as the ones in the license and share a copy of the modified CreativeML OpenRAIL-M to all your users (please read the license entirely and carefully) Please read the full license here: https://huggingface.co/proximasanfinetuning/luna-diffusion-v2.5/blob/main/luna_diffusion_license.txt

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · diffusers

Можно запустить

Подбираем GPU…

Ревизия весов
e1b0867

0 моделей