Характеристики

Лицензия: CreativeML OpenRAIL-M
Базовая модель: stable-diffusion-xl-base-1.0
Опубликована: 2 авг 2023

Ссылки

Hugging Face

t2i-adapter-sdxl-segmentation

SargeZT

Генерация изображенийТекст → изображение3 профессии

Адаптер T2I-Adapter для Stable Diffusion XL управляет генерацией изображений по тексту с помощью карты сегментации.

47скачиваний за 30 дней13лайковвеса обновлены12 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это веса T2I-Adapter для Stable Diffusion XL Base 1.0, опубликованные SargeZT. Адаптер использует карту сегментации как дополнительное условие при генерации изображений по текстовому запросу. В README приведены примеры сцен с животными, людьми и предметами; веса предназначены для подключения к совместимому конвейеру Diffusers со Stable Diffusion XL. Для инициализации T2I требуется собственный код.

Модель является производным адаптером базовой модели stabilityai/stable-diffusion-xl-base-1.0 и распространяется в форматах PyTorch и safetensors по лицензии CreativeML Open RAIL-M. README не сообщает размер весов, поддерживаемые языки или ограничения качества; применимость зависит от совместимого конвейера и наличия карты сегментации.

Сценарии применения

генерация изображения по текстовому запросу и карте сегментации
создание сцены с заданным расположением объектов
контролируемая генерация изображений людей, животных и предметов

Ограничения

Для инициализации адаптера требуется собственный код и совместимый конвейер Stable Diffusion XL. README не приводит измерений качества или подробностей о поддерживаемых вариантах карт сегментации.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.8Универсальные способностиИзображения и компьютерное зрениеAI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы.17 задач6 331модель I.10Универсальные способностиВидео, анимация и 3DAI помогает создавать, анализировать и преобразовывать динамический визуальный контент и 3D-сцены.18 задач3 279моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

T2I_Adapter-SargeZT/t2i-adapter-sdxl-segmentation

These are T2I-adapter weights trained on stabilityai/stable-diffusion-xl-base-1.0. Please note this uses custom code to initialize the T2I. You can find the adapter, pipeline, and training code here. You can find some example images below. prompt: ['a cat laying on top of a blanket on a bed'] images_0) prompt: ['two elephants are walking in a zoo enclosure'] images_1) prompt: ['a variety of items are laid out on a table'] images_2) prompt: ['a sandwich and french fries on a tray'] images_3) prompt: ['a crowd of people flying kites on a beach'] images_4) prompt: ['a man holding a rainbow colored umbrella in front of a crowd'] images_5) prompt: ['a man riding skis down a snow covered slope'] images_6) prompt: ['a yellow fire hydrant sitting in the middle of a sidewalk'] images_7)

License

SDXL 1.0 License

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

T2IAdapter управляет генерацией по входной картинке (поза, глубина, контуры): такой ввод пока не поддерживается.

Ревизия весов: 022d127