/ Модель

Характеристики

Библиотека
diffusers
Опубликована
19 янв 2024

Kohaku-XL-gamma

Генерация изображенийТекст → изображение3 профессии

Kohaku-XL-Gamma — производная Stable Diffusion XL для генерации аниме-изображений по текстовым промптам.

47скачиваний за 30 дней17лайковвеса обновлены19 янв 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Изображения» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели сгенерируют результат по каждой задаче. Опубликованный тест появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Kohaku-XL-Gamma — модель генерации аниме-изображений на основе Stable Diffusion XL, разработанная KBlueLeaf в сотрудничестве с Linaqruf. Это производная Animagine XL 3.0: версия Gamma rev1 объединяет изменения весов Animagine XL 3.0 и Kohaku XL base7. Модель распространяется в форматах Diffusers, PyTorch и Safetensors.

Модель создаёт изображения по текстовым запросам и рассчитана на генерацию аниме-арта. Для обучения использовались разрешения от 768×1024 до 1024×1024; автор рекомендует задавать размер изображения в диапазоне 786432–1310720 пикселей и CFG scale 4–7. Формат промпта совместим с Animagine XL 3.0, при этом автор рекомендует использовать его систему тегов качества, рейтинга и года.

Известное ограничение — на изображениях могут появляться мозаичные артефакты, связанные с масштабированием или кодированием данных обучения; автор предлагает устранять их апскейлерами R-ESRGAN anime6b или SCUNet. Лицензия в предоставленных данных не указана.

Сценарии применения

  • создание аниме-иллюстраций по текстовому описанию
  • генерация персонажей в заданном стиле и композиции
  • создание арта с тегами качества, рейтинга и периода
  • подготовка исходных изображений для последующего апскейла

Ограничения

На изображениях могут возникать мозаичные артефакты, связанные с масштабированием или кодированием обучающих данных; README рекомендует исправлять их апскейлерами R-ESRGAN anime6b или SCUNet. Лицензия не указана в доступных данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Kohaku XL Gamma

A SDXL anime base model aims to create unique artworks.


Introduction

This model can be seen as a derivative of Animagine XL 3.0 project. Basically I'm collaborating with Linaqruf for making better Anime base model (and it is obvious that we have different goal/target) We share our models and technique to improve our models' quality. And that is also how this model been created.

Base7

Kohaku-XL base7 is resumed from beta7 and use same dataset that beta series have used. But this time I use my own metadata system to create captions. (Can be taken as advanced version of what linaqruf used, will open source it soon)

Trainin details: LR: 8e-6/2e-6 Scheduler: constant with warmup Batch size: 128 (batch size 4 * grad acc 16 * gpu count 2)

Gamma rev1

Kohaku-XL Gamma rev1 is a merged model which combine the learned diff from anxl3 and kohaku xl base 7. With this forumla:

gamma rev1 = beta7 + 0.8 * (anxl3 - anxl2) + 0.5 * (base7 - beta7)


Usage

Parameter

This model is trained under 768x1024 to 1024x1024 ARB. It is recommended to use pixel count within 786432 ~ 1310720. Recommended CFG scale is 4~7. Sampler should not matter.

Tagging

This model use my own system for quality tags or something like that. So although this model combine the diff weight from anxl3, I will still recommend user to use mine (or both) tagging system.

The format of prompt is as same as anxl3. (You can check the sample images I post)

Rating tags:

  • General: safe
  • Sensitive: sensitive
  • Questionable: nsfw
  • Explicit: explicit, nsfw

Quality tags (Better to worse):

  • Masterpiece
  • best quality
  • great quality
  • good quality
  • normal quality
  • low quality
  • worst quality

Year tags (New to Old):

  • newest
  • recent
  • mid
  • early
  • old

You may meet some subtle mosaic-like artifact, that may be caused by high-lr or bad resizing/image encoding. I will try to fix it in next version. For now, try to use R-ESRGAN anime6b or SCUNet models for fixing it.


Future plan

Since my dataset have some resize/webp artifacts that will harm the models. I will recreate my dataset based on my new system (and opensource it once I done it).

The next plan is to train model on larger (3M-6M) dataset with better configuration (which will require A100s and I plan to spend about 2000-10000 USD on it, if you like my works, consider to sponsor me via buy-me-a-coffee or some BTC-sutff)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · diffusers

Можно запустить

Подбираем GPU…

Ревизия весов
e7e5177

0 моделей