/ Модель

Характеристики

Опубликована
12 дек 2022

SonicDiffusionV2

Генерация изображенийТекст → изображение3 профессии

SonicDiffusionV2 — модель на базе Stable Diffusion для генерации стилизованных иллюстраций mobian по текстовым промптам.

90скачиваний за 30 дней14лайковвеса обновлены30 дек 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Изображения» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели сгенерируют результат по каждой задаче. Опубликованный тест появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SonicDiffusionV2 — модель генерации изображений по текстовому описанию, опубликованная Metal079. Автор сообщает, что версия обучалась 200 эпох на базе AnythingV3 на 203 изображениях разных художников с ручными подписями; также приведены примеры версии на базе Stable Diffusion 2.1, обучение которой было прервано на 30 000 шагах. В репозитории указаны форматы Diffusers и PyTorch.

Модель предназначена для создания иллюстраций с персонажами mobian и настройки художественного стиля и контекста по текстовым промптам. Автор отмечает склонность к женским персонажам из-за состава обучающих изображений и размытие у краёв изображения, связанное с кадрированием обучающих примеров. Лицензия в предоставленных данных не указана.

Сценарии применения

  • создание иллюстраций персонажей mobian
  • генерация фэнтезийных портретов по описанию
  • создание изображений mobian в заданной художественной манере

Ограничения

Модель склонна генерировать женских персонажей; автор рекомендует добавить «boy» для мужского персонажа. На изображениях может появляться размытие по краям из-за кадрирования обучающих примеров.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SonicDiffusionV2.ckpt was trained on AnythingV3 for 200 epochs of 203 hand captioned images from various artists. Much more customizable in style and context from previous version

Examples: mobian walking in a snowy sidewalk while drinking coffee pareto

mobian studying for a test pareto

mobian, 1girl, baggy black priest clothes, chains, messy blonde hair, glowing eyes, detailed, :D, golden staff, fantasy, golden light, magic circle, windy, forest pareto

((masterpiece, best quality, very detailed eyes,official art, 8k,4k,2k)),intricate details, illustration,(((goddess))),(extremely detailed clothes),((looking up)),((fromabove)), perfect face, detailed face,smile, 1girl,((light blue eyes)),blonde hair, halo, ((glowing light,))upper body,(angel wings),(heavenly background) pareto

SD2.1 version: I also attempted to create a SD2.1 version using the same images, my computer crashed at 30000 steps but the results are still pretty nice. It especially excels at adding styles. Heres some examples:

mobian in ww1 gear, portrait, regal pareto

mobian mage doing research in lab, portrait, regal, painting pareto

Limitations:

Many of the input images were of female mobians and as such the model has a tendency to create females, adding 'boy' should help.

Due to the way I cropped the images, images tend to generate a 'blur' around the edge photos. Next time I might just leave them as is and see what happens.

More images of different scenarios should be added, I tried to add as many as I could but there's a lot of room for improvement.

Help:

If you would like to help with gathering or captioning images please message me at Metal#0407 on discord.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Ревизия весов
07d1ccf

0 моделей