![52412237344_697db17ab1_o](https://live.staticflickr.com/65535/52412243514_78673e706f_c.jpg)
画像生成サービス「NovelAI Diffusion」がリリースされ、その2次元キャラクター生成のクオリティが話題になっていましたが、有償サービスのみで無償で使うことはできないようです。その学習の一部として使った掲示板「Danbooru」が無断転載サイトとなっているため、物議を醸していましたが、Danbooru自体の問題はともかく、インターネットに公開されている画像は学習元として利用されることを覚悟しないといけない感じですね(著作権的にはAI学習に利用するのは問題にならないし、学習されたものを取り戻す手段がないため)。
そんなDanbooruを含めた画像を学習して、2次元イラスト生成にチューニングされた学習済みモデルとして、Waifu Diffusionというのもあります。ここで公開されているモデルをStable Diffusion web UI (AUTOMATIC1111) に入れて動かしてみました。
https://github.com/harubaru/waifu-diffusion/tree/main/docs/en/weights/danbooru-7-09-2022
からwd-v1-2-full-ema.ckptをダウンロードします。なかなかつながらないですが、つながったらGoogle Driveが速いですね。
Stable Diffusion web UI (AUTOMATIC1111) を最新化(再インストールが無難)して、ダウンロードした wd-v1-2-full-ema.ckpt を stable-diffusion-webui\models\Stable-diffusion に置きます。
![screencapture-127-0-0-1-7860-2022-10-08-00_45_30](https://live.staticflickr.com/65535/52411287052_6fcd54309b_b.jpg)
起動してSettingsタブを選ぶと、ものすごく設定が増えてました(使い方調べないと…)。
Stable Diffusion checkpointの項目を wd-v1-2-full-ema.ckpt に変更すると、デフォルトのものの代わりにWaifu Diffusionの学習済みモデルを使うようになります。(追記:今はモデルを画面のトップで選択できるようになっています)
![screencapture-127-0-0-1-7860-2022-10-08-10_14_53](https://live.staticflickr.com/65535/52411792241_112f55b975_c.jpg)
キャラクター名なども学習しているので、試しに初音ミクとかシンプルにプロンプトに入れてみると、それっぽいキャラクターが次々生成されました。
良いなと思った画像では手の部分がおかしかったので、Send to inpaintを押して、
![screencapture-127-0-0-1-7860-2022-10-08-10_23_53](https://live.staticflickr.com/65535/52411796661_ed00f25ff9_b.jpg)
書き直してほしいところを塗りつぶして、Generateを押すと、色々書き直してくれるので、良さげなものを選びました。
![screencapture-127-0-0-1-7860-2022-10-08-10_25_12](https://live.staticflickr.com/65535/52412233950_1d6981edbc_c.jpg)
Send to extrasを押して、高精細化処理。これだけでこのような画像が生成できます。
![00006](https://live.staticflickr.com/65535/52412123499_bae4fbf6a3_c.jpg)
![screencapture-127-0-0-1-7860-2022-10-08-00_45_17](https://live.staticflickr.com/65535/52411287062_817499dbb2_c.jpg)
キャラクター名を指定するのでは色々問題があるかもしれないので、オリジナルのキャラクターを生成するために、色々プロンプトを入力して生成してみます。(プロンプトはDanbooruで使われているタグを並べると良い感じになるそう)
Stable Diffusion web UI (AUTOMATIC1111)では、不適切画像のフィルターが外されているので、不適切なキーワードを入れたらダメですよ(笑)。
![screencapture-127-0-0-1-7860-2022-10-08-00_44_43](https://live.staticflickr.com/65535/52412305718_4302584fec_c.jpg)
ほぼ同じプロンプトをStable Diffusionの学習済みモデルで試したときと比較すると、かなり2次元画像生成の成功率が高くなっているのがわかります。
![screencapture-127-0-0-1-7860-2022-10-08-00_43_08](https://live.staticflickr.com/65535/52411287082_b6bc47cb7d_c.jpg)
好きな画像が出てくるまでガチャを引いて、好きな画像が出てきたら、Send to img2imgを押して、似たような画像からさらにガチャを引くことができます。
![screencapture-127-0-0-1-7860-2022-10-08-00_43_48](https://live.staticflickr.com/65535/52411796706_881f00e713_c.jpg)
出てきた画像(修正なし)はこんな感じ。なかなかのクオリティですね。
![00000](https://live.staticflickr.com/65535/52411334702_b1f9b26e36_b.jpg)
![00001](https://live.staticflickr.com/65535/52411334692_28c4cf9e4f_b.jpg)
![00002](https://live.staticflickr.com/65535/52411839461_2bd643e7b8_b.jpg)
![screencapture-127-0-0-1-7860-2022-10-08-09_50_41](https://live.staticflickr.com/65535/52411287027_23885b2287_c.jpg)
少しプロンプトを変えていくと全く違った画像に。
![00004](https://live.staticflickr.com/65535/52412354668_45e18b2612_c.jpg)
![00003](https://live.staticflickr.com/65535/52411839441_d7c7a3c3fe_c.jpg)
以下、似たようなプロンプトからAI絵師が生成した春夏秋冬の作例を載せておきます。
![00007](https://live.staticflickr.com/65535/52412932004_130281ecb6_c.jpg)
![00023](https://live.staticflickr.com/65535/52415527093_513a6f2cb7_c.jpg)
![00021](https://live.staticflickr.com/65535/52414951151_8e5985ae0a_c.jpg)
![00017](https://live.staticflickr.com/65535/52414843344_52f392a170_c.jpg)
![00009](https://live.staticflickr.com/65535/52413181919_68bac2dd2a_c.jpg)
![00010](https://live.staticflickr.com/65535/52414593360_c9f412258b_c.jpg)
![00022](https://live.staticflickr.com/65535/52415506548_ae9f92d3bb_c.jpg)
![00013](https://live.staticflickr.com/65535/52414944060_9099622183_c.jpg)
短時間で色々出てくるので、ガチャが面白いですね。
ちなみにStable Diffusion web UI (AUTOMATIC1111) は、専用のツールで簡単にApple Silicon Macでも動くようになっていました。スピードはNVIDIA RTX搭載PCと比べるとやはりかなり遅いですが。
trinart_stable_diffusion_v2の学習済みモデルも良さげです(良いのが出てくる確率は低い感じですが)。
https://huggingface.co/naclbit/trinart_stable_diffusion_v2/blob/main/trinart2_step115000.ckpt
![](https://digitallife.tokyo/wp/wp-content/plugins/pochipp/assets/img/pochipp-logo-t1.png)
(追記) ついにNovelAIエミュレーションとか。やばいですね。
https://github.com/AUTOMATIC1111/stable-diffusion-webui/discussions/2017
上記と同じプロンプトなのに、失敗例が少なく、クオリティが違いすぎる。
![grid-0114](https://live.staticflickr.com/65535/52426826148_bb802d9572_c.jpg)
![grid-0110](https://live.staticflickr.com/65535/52426753105_77a01c0ef7_b.jpg)
![grid-0112](https://live.staticflickr.com/65535/52426813283_785949939b_c.jpg)
![grid-0107](https://live.staticflickr.com/65535/52424950281_2b5ce38891_c.jpg)
![grid-0101](https://live.staticflickr.com/65535/52425239469_a350813459_c.jpg)
![grid-0106](https://live.staticflickr.com/65535/52424951516_38e0e41ba5_c.jpg)
![grid-0103](https://live.staticflickr.com/65535/52425409850_0e047d6944_c.jpg)
![grid-0095](https://live.staticflickr.com/65535/52424448772_4cc858b739_c.jpg)
NovelAIエミュレーションのAI作例やプロンプトについては、こちらの記事で紹介しています。
ピンバック: #StableDiffusion Web UI #NovelAI エミュレーション の AI作例 を プロンプト とともに紹介 | Digital Life Innovator
ピンバック: #StableDiffusion の NovelAI超え Anything v3.0 と Midjourney v4風 Openjourney で ミュシャ風?絵画生成比較 | Digital Life Innovator
ピンバック: 2022年の振り返り | Digital Life Innovator