/ Модель

Характеристики

Лицензия
CreativeML OpenRAIL-M
Опубликована
6 ноя 2022

Dungeons-and-Diffusion

Генерация изображенийТекст → изображение3 профессии

Модель генерирует фэнтезийные изображения персонажей Dungeons & Dragons по текстовым запросам.

407скачиваний за 30 дней250лайковвеса обновлены24 фев 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Изображения» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели сгенерируют результат по каждой задаче. Опубликованный тест появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

0xJustin разработал Dungeons-and-Diffusion — модель генерации изображений по текстовому описанию, настроенную на персонажей и художественный стиль Dungeons & Dragons. Она предназначена для создания концепт-арта, портретов и изображений персонажей разных рас и классов фэнтезийного мира. В README указано, что версия 3.0 дообучена на Protogen; для более ранних вариантов описаны разные подходы к обучению. Примеры рекомендуют работать с разрешением выше 512×512, а также показывают настройки генерации в Diffusers-совместимом формате.

Сценарии применения

  • создание портретов персонажей D&D
  • генерация концепт-арта фэнтезийных героев
  • визуализация персонажа по расе и классу
  • создание иллюстраций для настольной ролевой кампании

Ограничения

Некоторые признаки могут смешиваться: например, у персонажей могут появляться лишние уши или рога, а аракокра и кентавры могут генерироваться как птицы или лошади. Для управления такими артефактами README рекомендует использовать отрицательные подсказки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

FOR THE NEW VERSION DOWNLOAD 'D&Diffusion3.0_Protogen.ckpt'

The newest version is finetuned from Protogen to great effect. Also works great at resolutions great than 512x512!

Species in new version: aarakocra, aasimar, air_genasi, centaur, dragonborn, drow, dwarf, earth_genasi, elf, firbolg, fire_genasi, gith, gnome, goblin, goliath, halfling, human, illithid, kenku, kobold, lizardfolk, minotaur, orc, tabaxi, thrikreen, tiefling, tortle, warforged, water_genasi Classes in new version: Artificer, Bard, Barbarian, Cleric, Fighter, Druid, Monk, Paladin, Rogue, Ranger, Sorcerer, Warlock, Wizard, Noble, Townsperson

See the training dataset here for a list of races: https://huggingface.co/datasets/0xJustin/Dungeons-and-Diffusion

Model16000 is trained used D&D character as the class prompt, and for whatever reason it ~ seems ~ to work better for centaurs and aarakocra

Model30000 is trained using all of the images as the class images, and I think it emulates the commission DnD character style better. It works VERY well for most races, though sometimes I have to fight to get aarakocra to not be birds or centaurs to not be horses. Tieflings work great, but reining in their horns can be trouble. There is some bleed through between classes- especially for elf ears and horns. Including elf ears and horns as negative prompts seems to help.

Good prompts to try things out:

modelshoot style, (extremely detailed CG unity 8k wallpaper), full shot body photo of the most beautiful artwork in the world, english medieval pink (dragonborn druid) witch, black silk robe, nature magic, medieval era, painting by Ed Blinkey, Atey Ghailan, Studio Ghibli, by Jeremy Mann, Greg Manchess, Antonio Moro, trending on ArtStation, trending on CGSociety, Intricate, High Detail, Sharp focus, dramatic, painting art by midjourney and greg rutkowski, teal and gold, petals, countryside, action pose, casting a spell, green swirling magic Negative prompt: canvas frame, cartoon, 3d, photorealistic Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 10, Seed: 2603924688, Size: 512x768, Batch size: 4, Batch pos: 1, Clip skip: 2

[natural colors], full body tiefling (knight), [watercolor digital 2D painting], (strong shading), hard shadows, blurry, elegant, wearing robes, style of (saga comic) Lois van Baarle and charlie bowater and Sui Ishida, messy, disheveled, thick brushwork, detailed face and eyes, concept art

portrait (painting) of tabaxi, de Rivia closeup, suit, collar, formal attire, D&D, fantasy, intricate, elegant, highly detailed, artstation, concept art, matte, sharp focus, (brush strokes), (oil on canvas), hearthstone, art by Titian and Greg Rutkowski and Rembrandt van Rijn and Alphonse Mucha (inspired by Reddit post)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Ревизия весов
5f3dc2e

0 моделей