AI 画像生成

【Stable Diffusion】「ControlNet1.1」の新機能紹介

今回は「ContorolNet1.1」で追加されていた新機能を幾つか紹介します

紹介する機能は「Shuffle」「Instruct Pix2Pix」「Inpaint」の3つです
「Inpaint」以外は現時点で実験的な機能になっているようですね

「ContorolNet1.1」について詳しく知りたい方は下のリンク先を確認してください

【Stable Diffusion】表情も検出してくれるようになった「ControlNet 1.1」

モデルダウンロード

https://huggingface.co/lllyasviel/ControlNet-v1-1

今回使用したのは

  • control_v11e_sd15_ip2p
  • control_v11e_sd15_shuffle
  • control_v11p_sd15_inpaint

の3つです
.pth.yamlは両方ダウンロードしてください

webUI上でプリプロセッサが見つからない場合はverが古いと思うのでアップデートの必要があります
記事を書いている段階では「v1.1.184」でした

使用画像

openposeなんかはイラストだとイマイチだったんですけど
今回使用したものはイラストでも良いらしいのでイラストを使ってみました

Prompt:super fine illustration,an extremely cute and beautiful girl,highly detailed beautiful face,nanachi,short stature,furry girl,running shorts,cat ear,Yellow eyes,blown hair,short hair,bright skin,looking at viewer,extremely_detailed_eyes_and_face<hypernet:furry_kemono:1>

Negative prompt: nsfw,lowres, bad hands, text,error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts,signature, watermark, username, blurry, artist name,fat,red face,nude,long body

Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Face restoration: GFPGAN, Size: 512x768, Denoising strength: 0.6, Clip skip: 2, ENSD: 31337, Hires upscale: 1.6, Hires upscaler: Latent,model:MeinaPastelV4,vae:kl-f8-anime2

shuffle

まずは「shuffle」機能から

ベースになった画像を再構成して出力してくれる機能のようです
プリプロセッサは「shuffle」ですけど別に使わなくても良いらしい

正直どうゆう風になるのか良くわかっていませんでしたが
こんな感じに再構成してくれるみたいです

歪んだ画像を保存しておけば再利用出来るのかもしれません

ちなみにプロンプトを1 furry girlだけで出力するとこんな感じの画像になりました

ケモノしか共通点は無いみたいです

inpaint

次は「inpaint」です

まあ基本的にはi2iで使用出来るinpaintとあまり変わりは無さそうです
t2iで使えるくらいですかね?

プリプロセッサは「inpaint_global_harmonious」

普通のinpaintと使い方も一緒ですね
今回は表情を変えるために顔を塗りつぶしてみました

基本的な表情は変わりませんでした

ただ顔が微妙に変わっているみたいです
まあ塗りつぶす範囲にもよるんだと思います

Instruct Pix2Pix

こちらはi2iで使用するモデルになります

変更したい部分を指定して画像を出力してくれる機能みたいです

今回試して感じですと髪色と瞳の色、表情何かは多少変えることができましたが
服装やポーズ等は変わりが無い感じでした

臍を指定しても薄っすら服が透ける程度でしたね

ただ色の変更は全体的にフィルターをかけているような感じで
そこまでしっかりと色が変わりませんでした
色自体も元の髪色に依存しているような印象もあります

red hairblue hair

やっぱり全体にフィルターがかかってしまうようなので
ちょっと複雑な画像だと微妙な感じがします

表情は結構しっかりと変わってくれるけどケモノ系で泣き顔はわかりにくかったです

まあまだ実験的な機能らしいので今後に期待ですね

今回はここまでになります

ありがとうございました

-AI, 画像生成