/ Модель

Характеристики

Лицензия
CreativeML OpenRAIL-M
Библиотека
diffusers
Опубликована
12 янв 2024

SoteMixV3

Генерация изображенийТекст → изображение3 профессии

SoteMix V3 — модель Stable Diffusion для генерации художественных и аниме-изображений по текстовым запросам, в том числе высокого разрешения.

34скачиваний за 30 дней5лайковвеса обновлены23 янв 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Изображения» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели сгенерируют результат по каждой задаче. Опубликованный тест появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SoteMix V3 — модель генерации изображений по текстовому описанию в семействе Stable Diffusion, опубликованная автором Disty0. Она предназначена для создания иллюстраций в художественном и аниме-стиле; в карточке приведены настройки генерации и рекомендации для высоких разрешений, включая 1024×1536. Модель проверена с SD.Next и бэкендом Diffusers.

По описанию автора, это объединение SoteMix V1, Lunar Radiance Light и дообученной LoRA для генерации изображений высокого разрешения. В качестве подсказки для такого режима автор рекомендует слово highres. При разрешениях 1024×1536 и 1920×1080 результаты могут быть нестабильными. Репозиторий содержит варианты Diffusers, ONNX и OpenVINO. Лицензия — CreativeML OpenRAIL-M.

Сценарии применения

  • создание аниме-иллюстраций по текстовому описанию
  • генерация художественных изображений персонажей
  • создание изображений высокого разрешения
  • подготовка иллюстраций для творческих проектов

Ограничения

Автор отмечает, что при разрешениях 1024×1536 и 1920×1080 генерация может быть нестабильной. Для работы с высокими разрешениями в карточке рекомендованы определённые настройки сэмплера, шагов и масштабирования.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SoteMix V3 is trained at 1024x1536 for high resolution image generations.

This model is tested on SD.Next with Diffusers backend and HyperTile size set to 0 (Auto).

Positive Prompts:

masterpiece, best quality, highres, 1girl,

Negative Prompts:

(worst quality, low quality, lowres), zombie, interlocked fingers,

Do not use any negative embeddings.

Sampler: Euler a
Steps: 30-40
Clip Skip: 1 or 2
CFG: 4-7
Base Resolution: 512x / 768x / 1024x / 768x1280 / 960x1280 / 1024x1536 / 1920x1080
Model can still be chaotic at 1024x1536 and 1920x1080.

Second Pass / Hires:
Sampler: Euler / Euler a
Steps: 10 with Euler / 20 with Euler a
Upscaler: RealESRGAN 4x+ Anime6B / ESRGAN 4x-AnimeSharp with 0.2-0.3 denoise strength.
CFG: 6-9
Resolution: 2x of the base resolution.

Training:
My GPU couldn't handle full model training at these resolutions so i trained it as a 512 layer Lora with SoteMix V1 as the base.
Used highres as the trigger word. Also used raifu trigger word with my OC character.

Resolution: 1024x1536 with Bucketing
Batch Size: 1
Steps: 40000
GPU: Intel ARC A770 16GB

Bucket:

bucket 0: resolution (832, 1664), count: 49
bucket 1: resolution (896, 1280), count: 1
bucket 2: resolution (896, 1536), count: 2
bucket 3: resolution (960, 1408), count: 8
bucket 4: resolution (960, 1472), count: 57
bucket 5: resolution (960, 1536), count: 12
bucket 6: resolution (960, 1600), count: 537
bucket 7: resolution (1024, 1344), count: 266
bucket 8: resolution (1024, 1408), count: 349
bucket 9: resolution (1024, 1472), count: 1535
bucket 10: resolution (1024, 1536), count: 950
bucket 11: resolution (1088, 1280), count: 63
bucket 12: resolution (1152, 1216), count: 62
bucket 13: resolution (1152, 1280), count: 147
bucket 14: resolution (1152, 1344), count: 114
bucket 15: resolution (1216, 1152), count: 44
bucket 16: resolution (1216, 1216), count: 409
bucket 17: resolution (1216, 1280), count: 53
bucket 18: resolution (1280, 576), count: 20
bucket 19: resolution (1280, 640), count: 94
bucket 20: resolution (1280, 704), count: 217
bucket 21: resolution (1280, 768), count: 102
bucket 22: resolution (1280, 832), count: 118
bucket 23: resolution (1280, 896), count: 280
bucket 24: resolution (1280, 960), count: 137
bucket 25: resolution (1280, 1024), count: 32
bucket 26: resolution (1280, 1088), count: 27
bucket 27: resolution (1280, 1152), count: 61
bucket 28: resolution (1280, 1216), count: 24
bucket 29: resolution (1344, 1024), count: 17
bucket 30: resolution (1344, 1152), count: 38
bucket 31: resolution (1536, 896), count: 94
bucket 32: resolution (1536, 1024), count: 34
bucket 33: resolution (1600, 960), count: 196
bucket 34: resolution (1664, 832), count: 21
bucket 35: resolution (2048, 768), count: 3
bucket 36: resolution (2304, 576), count: 1
mean ar error (without repeats): 0.01257769833438255

Merge:
Merged SoteMix V1 with Lunar Radiance Light and then merged the Hires Lora i trained on top of it.
Merge ratio: (0.6 SoteMix V1 + 0.4 Lunar Radiance Light) + 0.7 Hires Lora

image/png

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · diffusers

Можно запустить

Подбираем GPU…

Ревизия весов
c2b08d3

0 моделей