Характеристики

Лицензия: CreativeML OpenRAIL-M
Библиотека: diffusers
Опубликована: 9 ноя 2023

Ссылки

LCM_SoteMix

Генерация изображенийТекст → изображение3 профессии

Аниме-модель на базе Stable Diffusion 1.5 для быстрой генерации изображений по текстовым запросам за несколько шагов LCM.

194скачиваний за 30 дней9лайковвеса обновлены4 дек 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Изображения» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели сгенерируют результат по каждой задаче. Опубликованный тест появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Disty0/LCM_SoteMix — аниме-модель для генерации изображений из текста на основе Stable Diffusion 1.5, преобразованная в формат LCM из оригинальной SoteMix. Разработчик указывает, что генерация возможна за 4 шага; рекомендует сэмплер LCM, 4–8 шагов, CFG 0 или 1 и базовые разрешения от 512 до 1024 пикселей, включая портретный формат 768×1280. В репозитории также указаны варианты ONNX и OpenVINO.

Модель ориентирована на создание аниме-иллюстраций по текстовым запросам. Веса включают VAE Blessed2. Лицензия — CreativeML OpenRAIL-M; применяйте модель с учётом условий этой лицензии. Указанные настройки и разрешения являются рекомендациями автора, а качество результата может зависеть от запроса и используемой реализации.

Сценарии применения

создание аниме-портретов по текстовому описанию
генерация иллюстраций персонажей в стиле аниме
быстрое получение вариантов изображения с малым числом шагов
создание изображений в портретном формате

Ограничения

Для описанной автором быстрой генерации рекомендуется сэмплер LCM и низкое значение CFG; это специализированная модель для аниме-стиля. README не приводит систематических оценок качества.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.8Универсальные способностиИзображения и компьютерное зрениеAI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы.17 задач6 331модель I.10Универсальные способностиВидео, анимация и 3DAI помогает создавать, анализировать и преобразовывать динамический визуальный контент и 3D-сцены.18 задач3 279моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

A Stable Diffusion 1.5 anime model with LCM that allows image generation with only 4 steps.
More details on LCM: https://latent-consistency-models.github.io/

Original SoteMix is available here:
https://huggingface.co/Disty0/SoteMix

Coverted to LCM with this script:
https://github.com/vladmandic/automatic/blob/master/cli/lcm-convert.py

Positive Prompts:

(masterpiece, best quality, highres), 1girl,

Negative Prompts:

(worst quality, low quality, lowres), zombie, interlocked fingers,

Sampler: LCM
Steps: 4-8
Clip Skip: 1
CFG: 0 or 1
Base Resolution: 512x / 768x / 1024x / 768x1280

Second Pass / Hires:
Sampler: LCM
Steps: 2-6
Upscaler: RealESRGAN 4x+ Anime6B / ESRGAN 4x-AnimeSharp with 0.3-0.4 denoise strength.
CFG: 0 or 1
Resolution: 2x of the base resolution.

Mege:

0.7(0.75(0.75(0.75(0.75(0.75(0.5(SomethingV2_2) + 0.5(meinapastel_v5Anime)) + 0.25(meinaalter_v2)) + 0.25(meinamix_meinaV9)) + 0.25(nyanMix_230303Intense)) + 0.25(mixProV4_v4)) + 0.25(breakdomain_M2150)) + 0.3(0.4(SomethingV2_2) + 0.6(meinapastel_v5Anime))

And baked in Blessed2 VAE

image/png

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · diffusers

Можно запустить

Подбираем GPU…

Ревизия весов: 9ffc3b5