先日、Stable Diffusion XL（SDXL）がStable Diffusion web UIで簡単に使えるようになった記事を書きましたが、すでにControlNetもSDXL対応しているし、SDXLベースのモデルも沢山出てきているようなので、簡単に試してみました。
ControlNetを最新版にUpdateするとSDXL対応になりました。ControlNet用のモデルは下記からダウンロードして、stable-diffusion-webui/extensions/sd-webui-controlnet/modelsフォルダに入れます。
https://huggingface.co/lllyasviel/sd_control_collection/tree/main
何かモデルが非常に多くなっていてどれを選べば良いのかよくわかりませんが、試してみたらちゃんと動きました。
SDXLベースのチューニングモデル・マージモデルもすでにたくさん公開されていますね。いくつかダウンロードして簡単に試してみました。
SDXLベースのモデルは、アニメ画像チューニングされたものでも、単純なプロンプトだとアニメ風でない絵画・実写寄りのものになるみたいですね。各モデルで同じプロンプトを試してみました。refinerも使ったほうが良いのか分からなかったので、なしとありで試してみています。
1枚目：プロンプト：beautiful girl, portrait, best quality, masterpiece
2枚目：同じプロンプトでsd_xl_refiner_1.0.safetensorsをSwitch at 0.8で適用
3枚目：プロンプト：beautiful, 1girl, anime, best quality, masterpiece
4枚目：同じプロンプトでsd_xl_refiner_1.0.safetensorsをSwitch at 0.8で適用
animagine-xl.safetensors
bluePencilXL_v010.safetensors
breakdomainxl_v03d.safetensors
lastpiececorexl_s0964.safetensors
nijianimesdxl_v10.safetensors
tonadeRabbitJoint_v11.safetensors
animeのプロンプト追加だけで劇的に変わるのが驚きです。anime指定しないで生成される画像も良い感じのものもありますね。
refinerを適用すると少しくっきりした感じになる印象ですね。どちらが良いかは好みの問題かも。
実写系モデルはまだ少ない感じですね。
1枚目：プロンプト：beautiful girl, portrait, best quality, masterpiece
2枚目：同じプロンプトでsd_xl_refiner_1.0.safetensorsをSwitch at 0.8で適用
3枚目：プロンプト：beautiful girl, photorealistic, potrtrait, best quality, masterpiece
4枚目：同じプロンプトでsd_xl_refiner_1.0.safetensorsをSwitch at 0.8で適用
dreamshaperXL10_alpha2Xl10.safetensors
fudukiMix_v10.safetensors
実写系モデルは、photorealisticのプロンプトを入れると少しリアルになる感じがしますが、あまり変わらないかも。refinerを適用すると目とかがくっきりする印象です。
全体的に少ないプロンプトでも良い感じの画像が生成される確率が非常に高いですね。色々遊んでみたいと思います。