Модель PowerPaint на базе Stable Diffusion предназначена для дорисовки и изменения выбранных областей изображения по текстовому запросу.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Sanster/PowerPaint-V1-stable-diffusion-inpainting — модель для редактирования изображений методом дорисовки и заполнения областей. Она основана на runwayml/stable-diffusion-inpainting: исходный UNet заменён на UNet из PowerPaint, а в text encoder добавлены обученные токены P_ctxt, P_shape и P_obj.
Модель принимает изображение и текстовое описание для генерации содержимого в выбранной области. Она предназначена для сценариев inpainting, например удаления или замены объектов и изменения отдельных частей изображения. Репозиторий содержит веса в формате Diffusers и SafeTensors.
В README не указана лицензия, поэтому условия использования по доступным сведениям определить нельзя. Характеристики PowerPaint и базовой модели наследуют ограничения Stable Diffusion для дорисовки изображений; отдельные ограничения этой версии в карточке не описаны.
Результат зависит от текстового запроса и выбранной маски, а качество отдельных правок может быть неоднородным. Лицензия и специальные ограничения этой версии в предоставленных данных не описаны.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Model from: https://huggingface.co/JunhaoZhuang/PowerPaint-v1
Based on runwayml/stable-diffusion-inpainting, the unet has been replaced with PowerPaint's unet,
and the token embedding (P_ctxt, P_shape, P_obj) newly added by PowerPaint has been integrated into the text_encoder.
Download python file at here, then run:
python3 demo.py
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Модели «картинка → картинка» пока не запускаются.