【Stable Diffusion】表情も検出してくれるようになった「ControlNet 1.1」

ControlNetがアップデートされて画像の表情も検出してくれるようになったようです
顔のランドマークってやつみたいですね

画像の品質も明らかに良くなっています

今回の内容は

• アップデート方法
• ↑の方法でダメだった場合
• 画像生成
• 新しいエラー→解決しました

になっています

製作者のGitページ

GitHub - Mikubill/sd-webui-controlnet: WebUI extension for ControlNet

WebUI extension for ControlNet. Contribute to Mikubill/sd-webui-controlnet development by creating an account on GitHub.

github.com

通常のアップデート方法

まずは普通にwebUI上でアップデートする方法です

やり方は簡単で「Extensions」の「installed」をクリックします
「Check for updates」をクリックして「sd-webui-controlnet」の１番右側の覧が「behind」になっていたら最新Verでは無いのでアップデートをしてください
「Apply and restart UI」をクリックすればアップデートされます
「behind」が「latest」になっていればOKです

後はモデルをDownloadして「C:\stable-diffusion-webui\extensions\sd-webui-controlnet」
に入れてください

lllyasviel/ControlNet-v1-1 at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

リンク先から必要なモデルをDownload出来ます

詳しい説明は製作者のgitページにも書いてありますけど
Downloadするのは基本的に.pthファイルだけでOKです
他のファイルが必要になる場合もありますけど
とりあえず１番使いたいopenposeには必要ありません

ただ問題はエラーが起きて再起動しても「latest」になっていたりします
コマンドプロンプトを見て「Error running process: C:\stable-diffusion-webui\extensions\sd-webui-controlnet\scripts\controlnet.py」と表示されていたら失敗しています

というかControlNetが使用出来ない時は上記のエラーが出ている可能性が高いです

通常の方法で失敗した場合

↑の方法で上手くいかなかった場合は再インストールすればOKです

先にextensionsフォルダ内のsd-webui-controlnetのバックアップをとって削除します

後は普通にwebUIを開いてインストールすればOKです

この方法は他の拡張機能でも同様の方法が使えます
案外webUI上だとエラーが起きる事が多いのでこちらの方が確実かもしれません

画像生成

実際に顔のランドマークがどんな感じになるのか試してみました

アップデートに成功していればリストに色々追加されているのでopenpose_faceを選択します
後は普通に画像を生成するだけです

サンプル画像	生成画像	カラフル棒人間

白い点の部分が顔のランドマークですね
ケモノ画像でも問題無く出力してくれました

ちょっと過剰な気もしますけどかなり良い感じになっていると思います

両目を閉じたキス待ちっぽい表情なんかも案外作り難かったりするので
色々と応用は効きそうですね
まあ最近はLoRAで何とかなったりもしますけど

今のところカラフル棒人間のように顔のランドマークだけを作る機能は無さそうです
なのでサンプルになる写真等を用意する必要があるのがネックかもしれません

まあ最悪自撮り画像を使えば良いだけですけどね

新しいエラー→解決しました

Controlnetを複数適用しようとしたら「AssertionError: Bad value for setting modelscope_deforum_keep_model_in_vram: False; expecting str」
なんてエラーが出て適用出来ませんでした

検索するとハングルで同様のエラー報告がありましたが記事を書いている段階では解決していないようでした

とりあえず現状は打つ手無しといったところです

ありがたいことにコメントで教えてもらい解決しました

{AssertionError: Bad value for setting modelscope_deforum_keep_model_in_vram: False; expecting str} What action should I take to resolve this? · AUTOMATIC1111 stable-diffusion-webui · Discussion #9764

The title error occurred when I tried to change vae and apply the settings. The same error occurs in all cases when trying to change from the current vae to ano...

github.com

リンク先にも詳しい事は書いてありますけど
「Settings」→「Text2Video」→「Keep model in VRAM between runs」→「Main Model Only」
で設定の保存が出来るようになりました

Text2Videoのモデル選択が無い場合はText2Videoそのものを削除すれば解決するようです

Controlnetm2mもあるし今のところはText2Videoは削除しておいても良いかもしれませんね