StableDiffusionから最新のモデル「StableDiffusion3Medium」が発表されたので早速使ってみました。
今回は使用したGUIは公式で推奨されている「ComfyUI」です。
ローカル環境で使う方法と言っても基本的にはモデルをダウンロードするだけなんですが
「ComfyUI」の方で少し準備する必要があるので、そちらも合わせて紹介します。
ちなみに画像の出来は、ベースモデルと考えるとかなり良い出来でした
マージモデルはかなり期待できるかもしれませんね。
モデル等のダウンロード
モデルのダウンロードはstabilityaiのHugging Faceページからダウンロード出来ます。
ダウンロードするには、Huggingi Faceのアカウト登録と署名のようなものを記入する必要があります。
アカウント登録もダウンロードも無料で出来ます。
https://huggingface.co/stabilityai/stable-diffusion-3-medium
準備が出来たら「ファイルとバージョン」から好きなモデルをダウンロードしてください。
容量が大きいモデルにはテキストエンコーダー等が全て含まれているのでモデルだけダウンロードすれば
良いのですが、容量が少ないモデルは別途テキストエンコーダーをダウンロードする必要があります。
各モデルの詳細はHuggingFaceのページに記載されているので必要があったら確認してください。
テキストエンコーダーは「text_encoders」フォルダに入っています。
![](https://7mmblog.com/wp-content/uploads/2024/06/112-1024x508.png)
ダウンロードはモデル名の横にある容量の部分か下矢印をクリックするとダウンロード出来ます。
ついでに「comfy_example_workflows」フォルダからワークフローのデータをダウンロードしておくと良いと思います。
これで必要なデータは全てそろいました。
ComfyUIの準備
次に「ComfyUI」側の準備をします。
ComfyUIのインストール
新しく「ComfyUI」をインストールする場合は「StabilityMatrix」を使用するのをオススメします。
「StabilityMatrix」については→で解説しています。【AI画像生成】簡単便利なStable Diffusion導入アプリ「Stable Matrix」
GitHubのリンクは→https://github.com/LykosAI/StabilityMatrix
各ファイルの格納
モデルはStabilityMatrix\Packages\ComfyUI\models\checkpointsに
テキストエンコーダーはStabilityMatrix\Packages\ComfyUI\models\clipに格納します。
ワークフローはどこのフォルダに入っていてもロード出来るので好きなフォルダでOKです。
StabilityMatrixを使っている場合は、Pakagesのエクスプローラーで開くから「ComfyUI」のフォルダを開く事が出来ます。
![](https://7mmblog.com/wp-content/uploads/2024/06/113-1024x698.png)
ComfyUI Managerのインストール
StableDiffusion3Mediumを使用するには関係無いかもしれませんが
カスタムノードのインストールに便利なので紹介します。
https://github.com/ltdrdata/ComfyUI-Manager
StabilityMatrix\Packages\ComfyUI\custom_nodesでCMDを開いてgit clone https://github.com/ltdrdata/ComfyUI-Manager.git
と入力すればインストールがされます。
![](https://7mmblog.com/wp-content/uploads/2024/06/114.png)
インストールに成功していればComfyUIを開いた時
右下のUIに◯で囲った部分が追加されています。
準備はこれで終わりです。
ワークフローのLoad
ComfyUIを展開したらデフォルトで右下にあるLoadをクリックして
さっきダウンロードしたワークフローをロードします。
とりあえず基本的な「comfy_example_workflows_sd3_medium_example_workflow_basic」で良いでしょう。
「comfy_example_workflows_sd3_medium_example_workflow_multi_prompt」は複数のプロンプトを入力できて
「comfy_example_workflows_sd3_medium_example_workflow_upscaling」はアップスケールを適用出来ます。
ワークフローをロードしてエラーが出たら「StabilityMatrix」のPackagesから本体を更新して
それでもダメだった場合Managerを開き「UpdateALL」をクリックしてください。
![](https://7mmblog.com/wp-content/uploads/2024/06/115-1024x545.png)
これでStableDiffusion3Mediumのワークフローをロード出来ます。
![](https://7mmblog.com/wp-content/uploads/2024/06/116-1024x514.png)
comfy_example_workflows_sd3_medium_example_workflow_upscalingのエラー
他のワークフローはカスタムノードを必要としないので、特に問題は起きないと思いますが
「comfy_example_workflows_sd3_medium_example_workflow_upscaling」の場合別途カスタムノードが必要になります。
自分の場合はこんな感じのエラーが表示されました。
When loading the graph, the following node types were not found:
UpscaleModelLoader
UltimateSDUpscale
Nodes that have failed to load will show as red on the graph.
これは「UpscaleModelLoder」と「UltimateSDUpscale」見つからないってことなんですけど
「UpscaleModelLoder」が結構厄介でした。
本来デフォルトであるノードなので個別のダウンロードが見つかりません。
自分の場合は「StabilityMatrix」本体を更新して「Comfy」を更新したら解決しました。
「UltimateSDUpscale」はカスタムノードなので簡単です。
gitクローンかManagerからなんですけど、Managerからインストールした方が簡単だと思います。
Managerを開き「Cusutom Nodes Manager」から「UltimateSDUpscale」をインストールすればOKです。
![](https://7mmblog.com/wp-content/uploads/2024/06/117-1-1024x550.png)
![](https://7mmblog.com/wp-content/uploads/2024/06/118-1024x524.png)
git cloneの場合はStabilityMatrix\Packages\ComfyUI\custom_nodesでCMDを開きgit clone https://github.com/ssitu/ComfyUI_UltimateSDUpscale --recursive
と入力すればOKです。
https://github.com/ssitu/ComfyUI_UltimateSDUpscale
画像生成
![](https://7mmblog.com/wp-content/uploads/2024/06/078-1024x697.jpg)
![](https://7mmblog.com/wp-content/uploads/2024/06/sent-1024x697.jpg)
プロンプトはワークフローのやつを少しイジりました。
全体的にかなり良い画像が出来ましたが、相変わらず手がイマイチなのと口が微妙なものが多かったです。
ちなみワークフローのノードを使わない場合の一番良い画像がこんな感じでした。
![](https://7mmblog.com/wp-content/uploads/2024/06/ComfyUI_00006_.jpg)
プロンプトが違うので一概にどうとは言えませんが、結構差がありますね。
正直打率も悪かったです。
ノードやプロンプトもしっかりしないとダメみたいですね。
商用利用について
最後に商用利用について少しだけ。
無償提供されているモデルに関しては非商用のみが許可されているので、商用利用は出来ません。
商用利用したい場合は別途連絡をして有償のモデルを使用する必要があるようです。
価格はだいたい月3000円ほどらしい?
ちょっと正確な情報が見つかりませんでした。
無償版が商用利用不可になってくるとマージモデルが結構ややこしい事になってきそうですね。
もしかしたら全面商用利用禁止になるのかも?
今回は以上です。
ありがとうございました。