ControlNetがアップデートされて画像の表情も検出してくれるようになったようです
顔のランドマークってやつみたいですね
画像の品質も明らかに良くなっています
今回の内容は
- アップデート方法
- ↑の方法でダメだった場合
- 画像生成
新しいエラー→解決しました
になっています
製作者のGitページ
https://github.com/Mikubill/sd-webui-controlnet
通常のアップデート方法
まずは普通にwebUI上でアップデートする方法です
やり方は簡単で「Extensions」の「installed」をクリックします
「Check for updates」をクリックして「sd-webui-controlnet」の１番右側の覧が「behind」になっていたら最新Verでは無いのでアップデートをしてください
「Apply and restart UI」をクリックすればアップデートされます
「behind」が「latest」になっていればOKです
後はモデルをDownloadして「C:\stable-diffusion-webui\extensions\sd-webui-controlnet」
に入れてください
https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
リンク先から必要なモデルをDownload出来ます
詳しい説明は製作者のgitページにも書いてありますけど
Downloadするのは基本的に.pthファイルだけでOKです
他のファイルが必要になる場合もありますけど
とりあえず１番使いたいopenposeには必要ありません
ただ問題はエラーが起きて再起動しても「latest」になっていたりします
コマンドプロンプトを見て「Error running process: C:\stable-diffusion-webui\extensions\sd-webui-controlnet\scripts\controlnet.py」と表示されていたら失敗しています
というかControlNetが使用出来ない時は上記のエラーが出ている可能性が高いです
通常の方法で失敗した場合
↑の方法で上手くいかなかった場合は再インストールすればOKです
先にextensionsフォルダ内のsd-webui-controlnetのバックアップをとって削除します
後は普通にwebUIを開いてインストールすればOKです
この方法は他の拡張機能でも同様の方法が使えます
案外webUI上だとエラーが起きる事が多いのでこちらの方が確実かもしれません
画像生成
実際に顔のランドマークがどんな感じになるのか試してみました
アップデートに成功していればリストに色々追加されているのでopenpose_faceを選択します
後は普通に画像を生成するだけです
| サンプル画像 | 生成画像 | カラフル棒人間 |
 |  |  |
白い点の部分が顔のランドマークですね
ケモノ画像でも問題無く出力してくれました
ちょっと過剰な気もしますけどかなり良い感じになっていると思います
両目を閉じたキス待ちっぽい表情なんかも案外作り難かったりするので
色々と応用は効きそうですね
まあ最近はLoRAで何とかなったりもしますけど
今のところカラフル棒人間のように顔のランドマークだけを作る機能は無さそうです
なのでサンプルになる写真等を用意する必要があるのがネックかもしれません
まあ最悪自撮り画像を使えば良いだけですけどね
新しいエラー→解決しました
Controlnetを複数適用しようとしたら「AssertionError: Bad value for setting modelscope_deforum_keep_model_in_vram: False; expecting str」
なんてエラーが出て適用出来ませんでした
検索するとハングルで同様のエラー報告がありましたが記事を書いている段階では解決していないようでした
とりあえず現状は打つ手無しといったところです
ありがたいことにコメントで教えてもらい解決しました
https://github.com/AUTOMATIC1111/stable-diffusion-webui/discussions/9764
リンク先にも詳しい事は書いてありますけど
「Settings」→「Text2Video」→「Keep model in VRAM between runs」→「Main Model Only」
で設定の保存が出来るようになりました
Text2Videoのモデル選択が無い場合はText2Videoそのものを削除すれば解決するようです
Controlnetm2mもあるし今のところはText2Videoは削除しておいても良いかもしれませんね