/ Модель

Характеристики

Лицензия
CreativeML OpenRAIL-M
Опубликована
2 дек 2022

DreamBooth-AltDiffusion

Генерация изображенийТекст → изображение3 профессии

Дообученная методом DreamBooth мультиязычная модель AltDiffusion для генерации изображений заданного персонажа или объекта по текстовым запросам.

13скачиваний за 30 дней9лайковвеса обновлены16 мая 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

BAAI/DreamBooth-AltDiffusion — модель генерации изображений по тексту, полученная дообучением мультиязычной AltDiffusion методом DreamBooth. Она связывает уникальный идентификатор с конкретным персонажем или другим объектом, используя небольшое количество изображений; в карточке приведён пример дообучения на фотографиях Наруто. Модель предназначена для генерации изображений этого объекта по текстовым запросам и демонстрирует вариант персонализированной генерации на базе AltDiffusion.

AltDiffusion поддерживает девять языков, включая английский, китайский, испанский, французский, русский, японский, корейский, арабский и итальянский. Репозиторий содержит веса в форматах Diffusers и PyTorch и использует лицензию CreativeML OpenRAIL-M. Карточка не приводит размер модели и длину контекста.

Сценарии применения

  • генерация изображений персонажа по его уникальному идентификатору
  • создание иллюстраций конкретного объекта по текстовому описанию
  • персонализированная генерация изображений на основе нескольких фотографий
  • генерация изображений по запросам на поддерживаемых языках

Ограничения

Карточка описывает демонстрационный чекпойнт, обученный на нескольких изображениях Наруто; результаты для других объектов зависят от отдельного дообучения. Не приведены количественные оценки качества.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This is a DreamBooth model finetuned from the multilingual text-to-image model AltDiffusion.

Dreambooth is one of the method of finetune the pretrained text-to-image model.Given as input just a few images of a subject, it learns to bind a unique identifier with that specific subject.

AltDiffusion which is a multilingual text-to-image model.It currently supports 9 languages and will support more in future. We can use the dreambooth to finetune the AltDiffusion,so that we can get a multilingual Dreambooth model which could supports 9 languages.

Here we give a example model finetuned use a dozen pictures of Uzumaki Naruto downloaded from web.The example code of inference is shown bellow.You can have a try and maybe train your own dreambooth.Hopes have fun!

Example code of inference

from diffusers import AltDiffusionPipeline, DPMSolverMultistepScheduler
import torch

pipe = AltDiffusionPipeline.from_pretrained("BAAI/DreamBooth-AltDiffusion")
pipe = pipe.to("cuda")

pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)

prompt = "一张<鸣人>男孩的照片"
image = pipe(prompt, num_inference_steps=25).images[0]
image.show()

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Компонент text_encoder (alt_diffusion.RobertaSeriesModelWithTransformation) требует кода вне diffusers/transformers.

Ревизия весов
0d75eee

0 моделей