アニメキャラクター生成し放題 Waifu Diffusion のモデルを #StableDiffusion web UI (AUTOMATIC1111) に入れて、AIを2次元絵師に

画像生成サービス「NovelAI Diffusion」がリリースされ、その2次元キャラクター生成のクオリティが話題になっていましたが、有償サービスのみで無償で使うことはできないようです。その学習の一部として使った掲示板「Danbooru」が無断転載サイトとなっているため、物議を醸していましたが、Danbooru自体の問題はともかく、インターネットに公開されている画像は学習元として利用されることを覚悟しないといけない感じですね（著作権的にはAI学習に利用するのは問題にならないし、学習されたものを取り戻す手段がないため）。

そんなDanbooruを含めた画像を学習して、2次元イラスト生成にチューニングされた学習済みモデルとして、Waifu Diffusionというのもあります。ここで公開されているモデルをStable Diffusion web UI (AUTOMATIC1111) に入れて動かしてみました。

https://github.com/harubaru/waifu-diffusion/tree/main/docs/en/weights/danbooru-7-09-2022

からwd-v1-2-full-ema.ckptをダウンロードします。なかなかつながらないですが、つながったらGoogle Driveが速いですね。

Stable Diffusion web UI (AUTOMATIC1111) を最新化（再インストールが無難）して、ダウンロードした wd-v1-2-full-ema.ckpt を stable-diffusion-webui\models\Stable-diffusion に置きます。

screencapture-127-0-0-1-7860-2022-10-08-00_45_30

起動してSettingsタブを選ぶと、ものすごく設定が増えてました（使い方調べないと…）。
Stable Diffusion checkpointの項目を wd-v1-2-full-ema.ckpt に変更すると、デフォルトのものの代わりにWaifu Diffusionの学習済みモデルを使うようになります。（追記：今はモデルを画面のトップで選択できるようになっています）

screencapture-127-0-0-1-7860-2022-10-08-10_14_53

キャラクター名なども学習しているので、試しに初音ミクとかシンプルにプロンプトに入れてみると、それっぽいキャラクターが次々生成されました。
良いなと思った画像では手の部分がおかしかったので、Send to inpaintを押して、

screencapture-127-0-0-1-7860-2022-10-08-10_23_53

書き直してほしいところを塗りつぶして、Generateを押すと、色々書き直してくれるので、良さげなものを選びました。

screencapture-127-0-0-1-7860-2022-10-08-10_25_12

Send to extrasを押して、高精細化処理。これだけでこのような画像が生成できます。

screencapture-127-0-0-1-7860-2022-10-08-00_45_17

キャラクター名を指定するのでは色々問題があるかもしれないので、オリジナルのキャラクターを生成するために、色々プロンプトを入力して生成してみます。（プロンプトはDanbooruで使われているタグを並べると良い感じになるそう）
Stable Diffusion web UI (AUTOMATIC1111)では、不適切画像のフィルターが外されているので、不適切なキーワードを入れたらダメですよ（笑）。