【Stable Diffusion】表情も検出してくれるようになった「ControlNet 1.1」

AI
スポンサーリンク

ControlNetがアップデートされて画像の表情も検出してくれるようになったようです
顔のランドマークってやつみたいですね

画像の品質も明らかに良くなっています

今回の内容は

  • アップデート方法
  • ↑の方法でダメだった場合
  • 画像生成
  • 新しいエラー→解決しました

になっています

製作者のGitページ

GitHub - Mikubill/sd-webui-controlnet: WebUI extension for ControlNet
WebUI extension for ControlNet. Contribute to Mikubill/sd-webui-controlnet development by creating an account on GitHub.

通常のアップデート方法

まずは普通にwebUI上でアップデートする方法です

やり方は簡単で「Extensions」の「installed」をクリックします
「Check for updates」をクリックして「sd-webui-controlnet」の1番右側の覧が「behind」になっていたら最新Verでは無いのでアップデートをしてください
「Apply and restart UI」をクリックすればアップデートされます
「behind」が「latest」になっていればOKです

後はモデルをDownloadして「C:\stable-diffusion-webui\extensions\sd-webui-controlnet」
に入れてください

lllyasviel/ControlNet-v1-1 at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

リンク先から必要なモデルをDownload出来ます

詳しい説明は製作者のgitページにも書いてありますけど
Downloadするのは基本的に.pthファイルだけでOKです
他のファイルが必要になる場合もありますけど
とりあえず1番使いたいopenposeには必要ありません

ただ問題はエラーが起きて再起動しても「latest」になっていたりします
コマンドプロンプトを見て「Error running process: C:\stable-diffusion-webui\extensions\sd-webui-controlnet\scripts\controlnet.py」と表示されていたら失敗しています

というかControlNetが使用出来ない時は上記のエラーが出ている可能性が高いです

通常の方法で失敗した場合

↑の方法で上手くいかなかった場合は再インストールすればOKです

先にextensionsフォルダ内のsd-webui-controlnetのバックアップをとって削除します

後は普通にwebUIを開いてインストールすればOKです

この方法は他の拡張機能でも同様の方法が使えます
案外webUI上だとエラーが起きる事が多いのでこちらの方が確実かもしれません

画像生成

実際に顔のランドマークがどんな感じになるのか試してみました

アップデートに成功していればリストに色々追加されているのでopenpose_faceを選択します
後は普通に画像を生成するだけです

サンプル画像生成画像カラフル棒人間

白い点の部分が顔のランドマークですね
ケモノ画像でも問題無く出力してくれました

ちょっと過剰な気もしますけどかなり良い感じになっていると思います

両目を閉じたキス待ちっぽい表情なんかも案外作り難かったりするので
色々と応用は効きそうですね
まあ最近はLoRAで何とかなったりもしますけど

今のところカラフル棒人間のように顔のランドマークだけを作る機能は無さそうです
なのでサンプルになる写真等を用意する必要があるのがネックかもしれません

まあ最悪自撮り画像を使えば良いだけですけどね

新しいエラー→解決しました

Controlnetを複数適用しようとしたら「AssertionError: Bad value for setting modelscope_deforum_keep_model_in_vram: False; expecting str
なんてエラーが出て適用出来ませんでした

検索するとハングルで同様のエラー報告がありましたが記事を書いている段階では解決していないようでした

とりあえず現状は打つ手無しといったところです

ありがたいことにコメントで教えてもらい解決しました

{AssertionError: Bad value for setting modelscope_deforum_keep_model_in_vram: False; expecting str} What action should I take to resolve this? · AUTOMATIC1111/stable-diffusion-webui · Discussion #9764
The title error occurred when I tried to change vae and apply the settings. The same error occurs in all cases when trying to change from the current vae to ano...

リンク先にも詳しい事は書いてありますけど
「Settings」→「Text2Video」→「Keep model in VRAM between runs」→「Main Model Only」
で設定の保存が出来るようになりました

Text2Videoのモデル選択が無い場合はText2Videoそのものを削除すれば解決するようです

Controlnetm2mもあるし今のところはText2Videoは削除しておいても良いかもしれませんね

コメント

  1. AI より:

    The only fix I found was to remove Txt2Video then I was able to save the settings again, someone else had a fix here – https://github.com/AUTOMATIC1111/stable-diffusion-webui/discussions/9764 however my UI didn;t have the models under the Txt2Video settings.

タイトルとURLをコピーしました