Характеристики

Лицензия: Своя лицензия
Библиотека: diffusers
Опубликована: 24 мая 2024

Ссылки

Kohaku-XL-Epsilon-rev2

Генерация изображенийТекст → изображение3 профессии

Kohaku XL Epsilon rev2 — модель Stable Diffusion XL для генерации изображений по текстовым запросам, включая иллюстрации и изображения PVC-фигурок.

528скачиваний за 30 дней24лайкавеса обновлены7 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Изображения» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели сгенерируют результат по каждой задаче. Опубликованный тест появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Kohaku XL Epsilon rev2 — модель преобразования текста в изображения на базе Stable Diffusion XL, опубликованная KBlueLeaf. Это продолжение обучения Kohaku XL Epsilon rev1 на 1,56 млн изображений в течение пяти эпох. В обучающую выборку вошли работы выбранных художников, изображения по отдельным сериям и играм, а также фотографии коллекционных PVC-фигурок.

Модель предназначена для генерации изображений по текстовым запросам, в том числе изображений в стиле PVC-фигурок. Она обучалась на разрешении 1024×1024 с поддержкой разных пропорций и диапазона разрешений от 256 до 4096 пикселей; автор рекомендует использовать разрешение немного выше 1024×1024 и hires-fix для улучшения результата. В README приведены теги качества, рейтинга и даты, которые можно включать в запрос.

Модель распространяется в формате Diffusers с весами Safetensors. Лицензия указана как other, без уточнения условий в предоставленных данных. Она обучалась на контенте с рейтингами от safe до explicit и может создавать изображения для взрослых; качество зависит от формулировки запроса и разрешения.

Сценарии применения

генерация иллюстраций по текстовому описанию
создание изображений персонажей из выбранных серий и игр
генерация изображений в стиле фотографий PVC-фигурок
управление качеством, рейтингом и периодом изображения с помощью тегов

Ограничения

Модель обучалась на отобранных работах художников и материалах по выбранным сериям и играм, поэтому результаты ориентированы на эти визуальные стили. Она способна генерировать контент с рейтингами sensitive и explicit; условия лицензии в предоставленных данных не раскрыты.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.8Универсальные способностиИзображения и компьютерное зрениеAI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы.17 задач6 331модель I.10Универсальные способностиВидео, анимация и 3DAI помогает создавать, анализировать и преобразовывать динамический визуальный контент и 3D-сцены.18 задач3 279моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Kohaku XL Epsilon rev2

join us: https://discord.gg/tPBsKDyRR5

Rev2 Features

Resumed from Kohaku XL Epsilon rev1
1.56M images, 5epoch
Trained on selected artists' artworks and images about selected series/games
Trained on PVC figure photos, can generate PVC style without any additional models

Usage (PLEASE READ THIS SECTION)

Prompt Format

<1girl/1boy/1other/...>, <character>, <series>, <artists>, <general tags>, <quality tags>, <year tags>, <meta tags>, <rating tags>

Special Tags

Quality tags: masterpiece, best quality, great quality, good quality, normal quality, low quality, worst quality
Rating tags: safe, sensitive, nsfw, explicit
Date tags: newest, recent, mid, early, old

Rating tags

General: safe Sensitive: sensitive Questionable: nsfw Explicit: nsfw, explicit

Resolution

This model is trained for resolutions from ARB 1024x1024 with minimum resolution 256 and maximum resolution 4096. This means you can use the standard SDXL resolution. However, opting for a slightly higher resolution than 1024x1024 is recommended. Applying a hires-fix is also suggested for better results.

Training

Hardware: Quad RTX 3090s
Num Train Images: 1,536,902
Total Epoch: 5
Total Steps: 15015
Training Time: 410 hours (wall time)
Batch Size: 4
Grad Accumulation Step: 32
Equivalent Batch Size: 512
Optimizer: Lion8bit
Learning Rate: 1e-5 for UNet / 2e-6 for TE
LR Scheduler: Cosine (with warmup)
Warmup Steps: 1000
Weight Decay: 0.1
Betas: 0.9, 0.95
Min SNR Gamma: 5
Noise Offset: 0.0357
Resolution: 1024x1024
Min Bucket Resolution: 256
Max Bucket Resolution: 4096
Mixed Precision: FP16
Caption Tag Dropout: 0.2
Caption Dropout: 0.05

License:

Fair-AI-public-1.0-sd

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · diffusers

Можно запустить

Подбираем GPU…

Ревизия весов: 2fc6cce