ACertaintyをLatent Consistency Modelの手法で蒸留して4～8ステップほどで生成できるようにしました。性能はまだまだという感じです。

学習

rank=128(conv rank=32)のLoRAをバッチサイズ16で学習率5e-4で20000ステップ学習しました。公開したモデルはLoRAをマージ済みです。guidance_scaleは7.0固定で、学習対象になっていないのでguidance_scaleを変えても効果ありません。emaのrateは0.999です。学習中に無条件生成ではなくnegative_promptを使っています。

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained("furusu/LCM-Acertainty", custom_pipeline="latent_consistency_txt2img", custom_revision="main")
pipe.to(torch_device="cuda", torch_dtype=torch.float16)

prompt = "anime, masterpiece, best quality, 1girl, solo, blush, sitting, twintails, blonde hair, bowtie, school uniforme, nature"

num_inference_steps =4
images = pipe(prompt=prompt, num_inference_steps=num_inference_steps, guidance_scale=5.0, lcm_origin_steps=50, height=768, width=768, output_type="pil").images

images[0].save("./aaaaa.png")