今回は、最近SDXL向けのControlNetが色々出てきているのでとりまそれらを触ってみる。
ControlNetといってもなんか色んな所から色んな独自規格？が出てきて大変な事になっているようだ。
ま、よく分からんのでとにかく一通り触ってみたい。
以前書いた通り、現在SDXL向けのControlNetはComfyUIからしか触れないのでComfyUIを使う。
Diffusers公式のSDXL向けControlNetがいくつかある。
現在、cannyとdepthの2種類だけだが、それぞれ2.5GBの通常サイズ、545MBのmid（中サイズ）、320MBのsmall（小サイズ）が用意されている。
おいおい、なんだぁ～こりゃ～結局どれ使えばええねん。とりま、全部試してみるか。
HuggingFaceからfp16のsafetensor版をDLしてきて、ControlNet用のフォルダに置く。（なんかファイル名が全部同じだからリネームしとかないと意味不明になるぞ）
ところで、ComfyUIはControlNet自体はデフォルトでサポートしているが、プリプロセッサは用意されてないのでカスタムノードを入れる必要がある。
ちなみに、Comfyのカスタムノードを一つずつ手動でインスコするのはダルい。そこで、最初にComfyUI-Managerという拡張だけインスコしておけば、あとはこのマネージャー上で他のカスタムノードのインスコを管理出来て便利である。
https://github.com/ltdrdata/ComfyUI-Manager
ComfyUI-Managerのインスコは、custom_nodesフォルダでgit cloneするだけだ↓
cd custom_nodes
git clone <https://github.com/ltdrdata/ComfyUI-Manager.git>
それで、プリプロセッサのインスコについては、マネージャから**(WIP) ComfyUI's ControlNet Preprocessors auxiliary modelsとかいうのをインスコすればいい。**