/ Модель

Характеристики

Размер весов
5,8 ГБ
Лицензия
Apache 2.0
Библиотека
diffusers
Опубликована
4 янв 2024

sdxl-ip-adapter

Генерация изображенийТекст → изображение3 профессии

Набор IP-Adapter для SDXL, позволяющий направлять генерацию изображений текстом и одним или несколькими референсами.

516скачиваний за 30 дней8лайковвеса обновлены21 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

OzzyGT/sdxl-ip-adapter — копия весов IP-Adapter для SDXL, опубликованная OzzyGT на Hugging Face. Репозиторий содержит варианты IP-Adapter, IP-Adapter Plus, Plus Face и Composition с энкодером изображений; Composition позволяет сочетать несколько адаптеров в одном репозитории. Модель предназначена для генерации изображений по текстовому запросу с дополнительным влиянием одного или нескольких референсных изображений, в том числе для композиции и портретов. Автор указывает совместимость с Image Artisan XL.

Это компонент для Diffusers, а не самостоятельная базовая модель генерации: для работы нужны совместимый SDXL-чекпойнт и соответствующая обвязка. Веса размещены в формате safetensors, лицензия — Apache-2.0. В README примеры приведены в виде пустых таблиц без результатов, поэтому качество и сравнительное поведение вариантов по ним оценить нельзя.

Сценарии применения

  • генерация изображений SDXL с учётом референсного изображения
  • перенос внешности или визуального стиля с изображения-образца
  • создание портретов с IP-Adapter Plus Face
  • композиция нескольких референсных изображений при генерации
  • управление фоном и композицией через несколько адаптеров

Ограничения

Для работы требуются совместимая базовая модель SDXL и поддержка IP-Adapter в используемом пайплайне. README не содержит заполненных результатов экспериментов, поэтому качество вариантов по карточке оценить нельзя.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

IP-Adapter for SDXL

This is just a clone from the original repository with just the SDXL vit-h models and the corresponding image encoder.

Update: Added IP Adapter for Composition to be able to use multi ip adapters (they need to be in the same repository). Original model: https://huggingface.co/ostris/ip-composition-adapter

Made to be used with Image Artisan XL.

Here's some experiments:

prompt: cinematic portrait photo of a woman, against a white background, 4k, highly detailed

ip-adapter_sdxl_vit-h

source0% noise25% noise50% noise85% noise100% noise
image/pngimage/pngimage/pngimage/pngimage/pngimage/png

ip-adapter-plus_sdxl_vit-h

source0% noise25% noise50% noise85% noise100% noise
image/pngimage/pngimage/pngimage/pngimage/pngimage/png

ip-adapter-plus-face_sdxl_vit-h

prompt: cinematic portrait photo of a woman, against a white background, half body shot, closeup, 4k, highly detailed

source0% noise25% noise50% noise85% noise100% noise
image/pngimage/pngimage/pngimage/pngimage/pngimage/png

IP Adapter with multiple images - Instant Lora

ip-adapter_sdxl_vit-h

w1w2w3w4w5bg
image/pngimage/pngimage/pngimage/pngimage/pngimage/png
w1(1.0) + w2(1.0)w1(0.5) + w2(1.0)w1 (1.0) + w2(0.5)w1(0.5) + w2(0.5)w1(1.0) + w2(1.0) + bg(1.0)w1(0.5) + w2(0.5) + bg(1.0)w1(0.5) + w2(0.5) + bg(0.5)
image/pngimage/pngimage/pngimage/pngimage/pngimage/pngimage/png
w1+w2+w3w1+w2+w3+w4w1+w2+w3+w4+w5w1+w2+w3+w4+w5+bg
image/pngimage/pngimage/pngimage/png

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · diffusers

Нельзя запустить

Генеративная модель выложена не в формате diffusers.

Ревизия весов
93c0da6

0 моделей