【画像生成AI】StableDiffusionの最新モデル「StableDiffusion3Medium」をローカル環境で使う方法

StableDiffusionから最新のモデル「StableDiffusion3Medium」が発表されたので早速使ってみました。

今回は使用したGUIは公式で推奨されている「ComfyUI」です。

ローカル環境で使う方法と言っても基本的にはモデルをダウンロードするだけなんですが
「ComfyUI」の方で少し準備する必要があるので、そちらも合わせて紹介します。

ちなみに画像の出来は、ベースモデルと考えるとかなり良い出来でした
マージモデルはかなり期待できるかもしれませんね。

モデル等のダウンロード

モデルのダウンロードはstabilityaiのHugging Faceページからダウンロード出来ます。

ダウンロードするには、Huggingi Faceのアカウト登録と署名のようなものを記入する必要があります。
アカウント登録もダウンロードも無料で出来ます。

https://huggingface.co/stabilityai/stable-diffusion-3-medium

準備が出来たら「ファイルとバージョン」から好きなモデルをダウンロードしてください。
容量が大きいモデルにはテキストエンコーダー等が全て含まれているのでモデルだけダウンロードすれば
良いのですが、容量が少ないモデルは別途テキストエンコーダーをダウンロードする必要があります。
各モデルの詳細はHuggingFaceのページに記載されているので必要があったら確認してください。

テキストエンコーダーは「text_encoders」フォルダに入っています。

ダウンロードはモデル名の横にある容量の部分か下矢印をクリックするとダウンロード出来ます。

ついでに「comfy_example_workflows」フォルダからワークフローのデータをダウンロードしておくと良いと思います。

これで必要なデータは全てそろいました。

ComfyUIの準備

次に「ComfyUI」側の準備をします。

ComfyUIのインストール

新しく「ComfyUI」をインストールする場合は「StabilityMatrix」を使用するのをオススメします。
「StabilityMatrix」については→で解説しています。【AI画像生成】簡単便利なStable Diffusion導入アプリ「Stable Matrix」

GitHubのリンクは→https://github.com/LykosAI/StabilityMatrix

各ファイルの格納

モデルはStabilityMatrix\Packages\ComfyUI\models\checkpointsに
テキストエンコーダーはStabilityMatrix\Packages\ComfyUI\models\clipに格納します。
ワークフローはどこのフォルダに入っていてもロード出来るので好きなフォルダでOKです。

StabilityMatrixを使っている場合は、Pakagesのエクスプローラーで開くから「ComfyUI」のフォルダを開く事が出来ます。

ComfyUI Managerのインストール

StableDiffusion3Mediumを使用するには関係無いかもしれませんが
カスタムノードのインストールに便利なので紹介します。

https://github.com/ltdrdata/ComfyUI-Manager

StabilityMatrix\Packages\ComfyUI\custom_nodesでCMDを開いて
git clone https://github.com/ltdrdata/ComfyUI-Manager.git
と入力すればインストールがされます。

インストールに成功していればComfyUIを開いた時
右下のUIに◯で囲った部分が追加されています。

準備はこれで終わりです。

ワークフローのLoad

ComfyUIを展開したらデフォルトで右下にあるLoadをクリックして
さっきダウンロードしたワークフローをロードします。

とりあえず基本的な「comfy_example_workflows_sd3_medium_example_workflow_basic」で良いでしょう。
「comfy_example_workflows_sd3_medium_example_workflow_multi_prompt」は複数のプロンプトを入力できて
「comfy_example_workflows_sd3_medium_example_workflow_upscaling」はアップスケールを適用出来ます。

ワークフローをロードしてエラーが出たら「StabilityMatrix」のPackagesから本体を更新して
それでもダメだった場合Managerを開き「UpdateALL」をクリックしてください。

これでStableDiffusion3Mediumのワークフローをロード出来ます。

comfy_example_workflows_sd3_medium_example_workflow_upscalingのエラー

他のワークフローはカスタムノードを必要としないので、特に問題は起きないと思いますが
「comfy_example_workflows_sd3_medium_example_workflow_upscaling」の場合別途カスタムノードが必要になります。

自分の場合はこんな感じのエラーが表示されました。

When loading the graph, the following node types were not found:

UpscaleModelLoader
UltimateSDUpscale

Nodes that have failed to load will show as red on the graph.

これは「UpscaleModelLoder」と「UltimateSDUpscale」見つからないってことなんですけど
「UpscaleModelLoder」が結構厄介でした。
本来デフォルトであるノードなので個別のダウンロードが見つかりません。
自分の場合は「StabilityMatrix」本体を更新して「Comfy」を更新したら解決しました。

「UltimateSDUpscale」はカスタムノードなので簡単です。
gitクローンかManagerからなんですけど、Managerからインストールした方が簡単だと思います。

Managerを開き「Cusutom Nodes Manager」から「UltimateSDUpscale」をインストールすればOKです。

git cloneの場合はStabilityMatrix\Packages\ComfyUI\custom_nodesでCMDを開き
git clone https://github.com/ssitu/ComfyUI_UltimateSDUpscale --recursive
と入力すればOKです。

https://github.com/ssitu/ComfyUI_UltimateSDUpscale