以下の5人の東北ずん子プロジェクトのキャラクターイラストを用いてDreamBoothで学習したモデルです．
itako: 東北イタコzunko: 東北ずん子kiritan: 東北きりたんzundamon: ずんだもん (人間形態)metan: 四国めたん
学習画像はなるべく衣装にバリエーションをもたせているので，「公式衣装」は出にくいです．
🌐オンラインですぐに試せるGoogle Colab Notebookでも利用できます
🔈 キャラクターを増やして学習したモデルshirayu/sd-tohoku-v2を公開しました (2023-01-04)
ファイル形式
-
AUTOMATIC1111/stable-diffusion-webuiなどckptファイルを読み込むツールの場合
sd-tohoku-v1.model.ckpt(約2GB)をダウンロードして読み込んでください
-
diffusersから利用する場合
from diffusers import DiffusionPipeline pipeline = DiffusionPipeline.from_pretrained("shirayu/sd-tohoku-v1")
紹介動画
ライセンス
CreativeML Open RAIL-M license 1.0
また，各種法令・各種ガイドラインにご留意ください． 例えば，生成された画像が東北ずん子プロジェクトのキャラクターを含む場合， 「東北ずん子プロジェクト キャラクター利用の手引き」に基づいて利用してください．
学習設定
-
元モデル: Nilaier/Waifu-Diffusers (fbd1958)
- Base model: hakurei/waifu-diffusion-v1-3
- VAE: hakurei/waifu-diffusion-v1-4
-
学習画像
- 5キャラクター計69枚
- itako: 東北イタコ 18枚
- zunko: 東北ずん子 13枚
- kiritan: 東北きりたん 13枚
- zundamon: ずんだもん (人間形態) 9枚
- metan: 四国めたん 16枚
- アルファチャンネルは削除 + 白背景 + センタリング + 512x512にリサイズ
- 5キャラクター計69枚
-
学習元コード: ShivamShrirao/diffusers (
7232c2a) -
学習設定
- Instance ID:
itako,kiritan,zunko,metan,zundamon(5種) - Instance prompt:
<ID> 1girl - Tesla T4で約110分
- その他設定:
--prior_loss_weight=0.5 \ --seed=3434554 \ --resolution=512 \ --center_crop \ --train_batch_size=1 \ --train_text_encoder \ --mixed_precision="fp16" \ --use_8bit_adam \ --gradient_checkpointing \ --gradient_accumulation_steps=2 \ --learning_rate=1e-6 \ --lr_scheduler="constant" \ --lr_warmup_steps=0 \ --num_class_images=50 \ --sample_batch_size=3 \ --max_train_steps=8000 - Instance ID:
学習に使った画像
生成例
kiritan, 1girl, volleyball, kawaii, in gymnasium, head
Negative prompt: chibi, out of frame, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat
Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 575469807, Size: 704x512
zundamon , maid dress, in cafe, Kyoto Animation
Negative prompt: chibi, out of frame, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat
Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 429473516, Size: 512x704
itako, dating in park, cute winter fashion
Negative prompt: out of frame, amateur drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat
Steps: 60, Sampler: Euler a, CFG scale: 7.5, Seed: 2722676181, Size: 704x512
zunko and metan sit on bench, in school uniform, drink tea, 2girls, in 2020s anime style
Negative prompt: chibi, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly
Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 2262270937, Size: 640x512