/ Модель

Характеристики

Лицензия
CreativeML OpenRAIL-M
Опубликована
7 окт 2022

spider-verse-diffusion

Генерация изображенийТекст → изображение3 профессии

Дообученная Stable Diffusion для генерации изображений по тексту в стилистике фильма «Человек-паук: Через вселенные».

187скачиваний за 30 дней344лайкавеса обновлены16 мая 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Изображения» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели сгенерируют результат по каждой задаче. Опубликованный тест появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Spider-Verse Diffusion — дообученная модель Stable Diffusion, созданная nitrosocke на кадрах из фильма Sony «Человек-паук: Через вселенные». Она предназначена для генерации изображений по текстовому описанию с визуальным стилем фильма; для получения эффекта автор рекомендует добавлять в запрос фразу «spiderverse style». Модель обучалась методом DreamBooth с сохранением prior-preservation loss в течение 3000 шагов и доступна в формате Diffusers на базе PyTorch.

Модель подходит для создания портретов, персонажей и других иллюстраций в стилистике Spider-Verse. Для запуска используется StableDiffusionPipeline из библиотеки Diffusers. Лицензия — CreativeML OpenRAIL-M; условия лицензии распространяются на использование и результаты генерации.

Сценарии применения

  • создание портретов в стиле Spider-Verse
  • генерация персонажей по текстовому описанию
  • создание иллюстраций с визуальным стилем фильма
  • стилизация концепт-артов по текстовому запросу

Ограничения

Для характерного результата в запросе рекомендуется использовать фразу «spiderverse style». Модель дообучена на кадрах фильма, поэтому её результаты могут воспроизводить узнаваемые элементы этого визуального стиля.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Spider-Verse Diffusion

This is the fine-tuned Stable Diffusion model trained on movie stills from Sony's Into the Spider-Verse. Use the tokens spiderverse style in your prompts for the effect.

If you enjoy my work, please consider supporting me Become A Patreon

🧨 Diffusers

This model can be used just like any other Stable Diffusion model. For more information, please have a look at the Stable Diffusion.

You can also export the model to ONNX, MPS and/or FLAX/JAX.

#!pip install diffusers transformers scipy torch
from diffusers import StableDiffusionPipeline
import torch

model_id = "nitrosocke/spider-verse-diffusion"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "a magical princess with golden hair, spiderverse style"
image = pipe(prompt).images[0]

image.save("./magical_princess.png")

Portraits rendered with the model: Portrait Samples Sample images used for training: Training Samples

This model was trained using the diffusers based dreambooth training and prior-preservation loss in 3.000 steps.

License

This model is open access and available to all, with a CreativeML OpenRAIL-M license further specifying rights and usage. The CreativeML OpenRAIL License specifies:

  1. You can't use the model to deliberately produce nor share illegal or harmful outputs or content
  2. The authors claims no rights on the outputs you generate, you are free to use them and are accountable for their use which must not go against the provisions set in the license
  3. You may re-distribute the weights and use the model commercially and/or as a service. If you do, please be aware you have to include the same use restrictions as the ones in the license and share a copy of the CreativeML OpenRAIL-M to all your users (please read the license entirely and carefully) Please read the full license here

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Ревизия весов
c983e25

0 моделей