/ Модель
Каталог

Характеристики

Лицензия
Своя лицензия
Базовая модель
animagine-xl-3.1
Опубликована
29 окт 2024

Ссылки

Hugging Face

UrangDiffusion-2.0

kayfahaarukku
Генерация изображенийТекст → изображение3 профессии

UrangDiffusion 2.0 — дообученная на базе Animagine XL 3.1 модель для создания аниме-иллюстраций по текстовым запросам.

184скачиваний за 30 дней4лайкавеса обновлены30 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Изображения» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели сгенерируют результат по каждой задаче. Опубликованный тест появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

UrangDiffusion 2.0 — дообученная модель создания изображений по текстовому описанию, разработанная автором kayfahaarukku на базе Animagine XL 3.1. Она предназначена прежде всего для генерации иллюстраций в стиле аниме с персонажами и сериями, включая Honkai: Star Rail, Genshin Impact, Zenless Zone Zero и Hololive; карточка также упоминает пейзажи и концепции для коррекции анатомии. Модель принимает текстовые запросы и выдаёт изображения. Автор рекомендует использовать теги качества «best quality», «amazing quality», «very aesthetic» и настройки Euler a примерно на 25–30 шагов с CFG 5–7; удачной отправной точкой названы 28 шагов и CFG 7.

Модель распространяется в форматах Diffusers и safetensors. В метаданных указана лицензия other; конкретные условия следует проверять в репозитории. README отмечает, что тег «masterpiece» может вызывать нежелательные эффекты, а при некоторых генерациях возникают проблемы с анатомией. Размер модели, длина контекста и список поддерживаемых языков не приведены; текстовые подсказки в примерах используют английские теги.

Сценарии применения

  • генерация изображений персонажей из аниме и игр
  • создание иллюстраций по персонажам Genshin Impact
  • генерация изображений персонажей Honkai: Star Rail
  • создание артов по персонажам Hololive
  • генерация аниме-пейзажей

Ограничения

README сообщает о возможных проблемах с анатомией в некоторых генерациях и нежелательных эффектах от тега «masterpiece». Условия лицензии с обозначением other требуют уточнения в репозитории.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделейI.10Универсальные способностиВидео, анимация и 3DAI помогает создавать, анализировать и преобразовывать динамический визуальный контент и 3D-сцены.18 задач3 279моделейI.8Универсальные способностиИзображения и компьютерное зрениеAI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы.17 задач6 331модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

UrangDiffusion 2.0 (oo-raw-ng Diffusion) brings a whole-new training method compared to the v1.4. The model provide more flexibility and brings some updated dataset.

Standard Prompting Guidelines

The model is finetuned from Animagine XL 3.1. However, there is a little bit changes on dataset captioning, therefore there is some different default prompt used:

Default prompt:

1girl/1boy, character name, from what series, everything else in any order, best quality, amazing quality, very aesthetic.

Note: The quality tag masterpiece has been replaced with best quality due to reports that it often caused unwanted side effects. Tests also proven that the anatomy of some generations are broken because of the tag.

Default negative prompt:

lowres, (bad), text, error, fewer, extra, missing, worst quality, jpeg artifacts, low quality, watermark, unfinished, displeasing, oldest, early, chromatic aberration, signature, extra digits, artistic error, username, scan, [abstract],

Default configuration:

Default configuration: Euler a with around 25-30 steps, CFG 5-7, and ENSD set to 31337. Sweet spot is around 28 steps and CFG 7.

Training Configurations

Pretraining:

  • Dataset size: 44,393 images

  • GPU: 1xA100

  • Optimizer: AdaFactor

  • Unet Learning Rate: 3.75e-6

  • Text Encoder Learning Rate: 1.875e-6

  • Batch Size: 16

  • Gradient Accumulation: 3

  • Warmup steps: 100 steps

  • Min SNR Gamma: 5

  • Epoch: 10

  • Random Cropping: True

  • Loss: Huber

  • Huber Schedule: SNR

  • Huber C: 0.1

Finetuning:

  • Dataset size: 3,140 images

  • GPU: 1xA100

  • Optimizer: AdaFactor

  • Unet Learning Rate: 3e-6

  • Text Encoder Learning Rate: - (Train TE set to False)

  • Batch Size: 16

  • Gradient Accumulation: 3

  • Warmup steps: 5%

  • Min SNR Gamma: 5

  • Epoch: 10 (epoch 9 is used)

  • Noise Offset: 0.0357

  • Random Cropping: True

  • Loss: Huber

  • Huber Schedule: SNR

  • Huber C: 0.1

Added/Updated Series and Characters

Series:

  1. zenless zone zero

  2. wuthering waves

  3. sewayaki kitsune no senko-san

Honkai: Star Rail:

  1. firefly

  2. acheron

  3. sparkle

  4. robin

  5. aventurine

  6. black swan

  7. feixiao

  8. yunli

  9. lingsha

  10. march 7th (hunt)

  11. jade

  12. jiaoqiu

  13. gallagher

  14. rappa

  15. misha

Hololive Talents:

  1. hololive indonesia

  2. raora panthera

  3. elizabeth rose bloodflame

  4. gigi murin

  5. cecilia immergreen

Genshin Impact:

  1. arlecchino

  2. clorinde

  3. chiori

  4. mualani

  5. xianyun

  6. sigewinne

  7. kinich

  8. xilonen

  9. emilie

  10. gaming

  11. kachina

  12. sethos

Others:

  1. landscape

  2. several concepts to fix anatomy issue

Special Thanks

  • CagliostroLab for sponsoring the model finetuning by letting me borrowed the organization’s RunPod account.

  • My co-workers(?) at CagliostroLab for the insights and feedback.

  • Nur Hikari and Vanilla Latte for quality control.

  • Linaqruf, my tutor and role model in AI-generated images, and also the person behind tag ordering.

License

UrangDiffusion 2.0 falls under the Fair AI Public License 1.0-SD license.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Ревизия весов
7a02263

0 моделей

    Создать бенчмарк