Stable Diffusion v1-4 · Ilustraciones de libros antiguos

Finetuning de CompVis/stable-diffusion-v1-4 sobre el dataset gigant/oldbookillustrations.

🔁 También disponible como LoRA (adaptador ligero que se carga sobre el modelo base): manupm87/finetuned-sd-1.4-oldbookillustrations-lora.

Solo se ha finetuneado la UNet; el resto de componentes (VAE, text encoder, tokenizer y scheduler) se mantienen del modelo base. Este repositorio contiene el pipeline completo, listo para usar con una sola llamada a from_pretrained.

Trigger de estilo: el modelo se finetuneo anadiendo el sufijo old book illustration, engraving, antique a cada descripcion. Incluye ese mismo texto al final de tu prompt (como en el ejemplo) para activar con fuerza el estilo de ilustracion de libro antiguo.

Uso

import torch
from diffusers import StableDiffusionPipeline

pipe = StableDiffusionPipeline.from_pretrained(
    "manupm87/finetuned-sd-1.4-oldbookillustrations",
    torch_dtype=torch.float16,
).to("cuda")

prompt = "A sailing ship with billowing sails rides the tall waves of a stormy sea, old book illustration, engraving, antique"
image = pipe(prompt).images[0]
image.save("output.png")

Detalles del entrenamiento

Preprocesado: a cada imagen del dataset (con descripcion no vacia) se le aplica Resize + CenterCrop a 512x512.

Limitaciones y licencia

Modelo entrenado con fines educativos sobre un dataset pequeno y especifico (ilustraciones de libros antiguos), por lo que su dominio es limitado. Hereda los sesgos y limitaciones del modelo base Stable Diffusion v1-4. Distribuido bajo licencia CreativeML OpenRAIL-M.

Ejemplos

Generadas con este modelo (trigger de estilo incluido, misma semilla):