先日、Stable Diffusion XL（SDXL）がStable Diffusion web UIで簡単に使えるようになった記事を書きましたが、すでにControlNetもSDXL対応しているし、SDXLベースのモデルも沢山出てきているようなので、簡単に試してみました。
ControlNetのSDXL対応
ControlNetを最新版にUpdateするとSDXL対応になりました。ControlNet用のモデルは下記からダウンロードして、stable-diffusion-webui/extensions/sd-webui-controlnet/modelsフォルダに入れます。
https://huggingface.co/lllyasviel/sd_control_collection/tree/main
何かモデルが非常に多くなっていてどれを選べば良いのかよくわかりませんが、試してみたらちゃんと動きました。
SDXLベースのチューニングモデル・マージモデル
SDXLベースのチューニングモデル・マージモデルもすでにたくさん公開されていますね。いくつかダウンロードして簡単に試してみました。
アニメ風画像生成モデル
SDXLベースのモデルは、アニメ画像チューニングされたものでも、単純なプロンプトだとアニメ風でない絵画・実写寄りのものになるみたいですね。各モデルで同じプロンプトを試してみました。refinerも使ったほうが良いのか分からなかったので、なしとありで試してみています。
1枚目：プロンプト：beautiful girl, portrait, best quality, masterpiece
2枚目：同じプロンプトでsd_xl_refiner_1.0.safetensorsをSwitch at 0.8で適用
3枚目：プロンプト：beautiful, 1girl, anime, best quality, masterpiece
4枚目：同じプロンプトでsd_xl_refiner_1.0.safetensorsをSwitch at 0.8で適用
ANIMAGINE XL
animagine-xl.safetensors
blue_pencil-XL
bluePencilXL_v010.safetensors
BreakDomainXL
breakdomainxl_v03d.safetensors
LastpieceCoreXL
lastpiececorexl_s0964.safetensors
nijianimeSDXL
nijianimesdxl_v10.safetensors
Tonade, Rabbit, ｜Joint production｜SDXL:1.0
tonadeRabbitJoint_v11.safetensors
animeのプロンプト追加だけで劇的に変わるのが驚きです。anime指定しないで生成される画像も良い感じのものもありますね。
refinerを適用すると少しくっきりした感じになる印象ですね。どちらが良いかは好みの問題かも。
実写風画像生成モデル
実写系モデルはまだ少ない感じですね。
1枚目：プロンプト：beautiful girl, portrait, best quality, masterpiece
2枚目：同じプロンプトでsd_xl_refiner_1.0.safetensorsをSwitch at 0.8で適用
3枚目：プロンプト：beautiful girl, photorealistic, potrtrait, best quality, masterpiece
4枚目：同じプロンプトでsd_xl_refiner_1.0.safetensorsをSwitch at 0.8で適用
DreamShaper XL1.0
dreamshaperXL10_alpha2Xl10.safetensors
fuduki_mix
fudukiMix_v10.safetensors
実写系モデルは、photorealisticのプロンプトを入れると少しリアルになる感じがしますが、あまり変わらないかも。refinerを適用すると目とかがくっきりする印象です。
全体的に少ないプロンプトでも良い感じの画像が生成される確率が非常に高いですね。色々遊んでみたいと思います。