#StableDiffusion XL (#SDXL) の ControlNet や チューニングモデル・マージモデル を試してみました

先日、Stable Diffusion XL（SDXL）がStable Diffusion web UIで簡単に使えるようになった記事を書きましたが、すでにControlNetもSDXL対応しているし、SDXLベースのモデルも沢山出てきているようなので、簡単に試してみました。

Stable Diffusion web UI v1.6.0 で 次世代 #StableDiffusion (#SDXL) が簡単に使えるようになりました

ControlNetのSDXL対応

ControlNetを最新版にUpdateするとSDXL対応になりました。ControlNet用のモデルは下記からダウンロードして、stable-diffusion-webui/extensions/sd-webui-controlnet/modelsフォルダに入れます。

https://huggingface.co/lllyasviel/sd_control_collection/tree/main

何かモデルが非常に多くなっていてどれを選べば良いのかよくわかりませんが、試してみたらちゃんと動きました。

SDXLベースのチューニングモデル・マージモデル

SDXLベースのチューニングモデル・マージモデルもすでにたくさん公開されていますね。いくつかダウンロードして簡単に試してみました。

アニメ風画像生成モデル

SDXLベースのモデルは、アニメ画像チューニングされたものでも、単純なプロンプトだとアニメ風でない絵画・実写寄りのものになるみたいですね。各モデルで同じプロンプトを試してみました。refinerも使ったほうが良いのか分からなかったので、なしとありで試してみています。

1枚目：プロンプト：beautiful girl, portrait, best quality, masterpiece
2枚目：同じプロンプトでsd_xl_refiner_1.0.safetensorsをSwitch at 0.8で適用
3枚目：プロンプト：beautiful, 1girl, anime, best quality, masterpiece
4枚目：同じプロンプトでsd_xl_refiner_1.0.safetensorsをSwitch at 0.8で適用

ANIMAGINE XL

animagine-xl.safetensors

blue_pencil-XL

bluePencilXL_v010.safetensors

BreakDomainXL

breakdomainxl_v03d.safetensors

LastpieceCoreXL

lastpiececorexl_s0964.safetensors

nijianimeSDXL

nijianimesdxl_v10.safetensors

Tonade, Rabbit, ｜Joint production｜SDXL:1.0

tonadeRabbitJoint_v11.safetensors

animeのプロンプト追加だけで劇的に変わるのが驚きです。anime指定しないで生成される画像も良い感じのものもありますね。
refinerを適用すると少しくっきりした感じになる印象ですね。どちらが良いかは好みの問題かも。

実写風画像生成モデル

実写系モデルはまだ少ない感じですね。

1枚目：プロンプト：beautiful girl, portrait, best quality, masterpiece
2枚目：同じプロンプトでsd_xl_refiner_1.0.safetensorsをSwitch at 0.8で適用
3枚目：プロンプト：beautiful girl, photorealistic, potrtrait, best quality, masterpiece
4枚目：同じプロンプトでsd_xl_refiner_1.0.safetensorsをSwitch at 0.8で適用

DreamShaper XL1.0

dreamshaperXL10_alpha2Xl10.safetensors

fuduki_mix

fudukiMix_v10.safetensors

実写系モデルは、photorealisticのプロンプトを入れると少しリアルになる感じがしますが、あまり変わらないかも。refinerを適用すると目とかがくっきりする印象です。

全体的に少ないプロンプトでも良い感じの画像が生成される確率が非常に高いですね。色々遊んでみたいと思います。