画像生成AI Stable DiffusionにはLoRA(Low-Rank Adaptation)というモデルに追加学習するための仕組みがあります。これを使えば特定のキャラクターなどを学習させて、画像生成に使うことができます。LoRAは好きなモデルに適用可能なので、アニメやゲームのキャラクターを学習させて、実写のモデルに適用するということも可能。ということで、LoRAを使ってコスプレ写真を生成させてみました。
LoRAの作成は自分で行うことも可能ですが、CivitAIにLoRAのファイルが沢山公開されていますので、こちらで好きなキャラクターのLoRAをダウンロードして、”models/Lora/”に配置します。LoRAファイルの利用方法(必要なプロンプトなど)は公開サイトに書かれていますので、確認しておきます。
Generateの下の真ん中の絵のアイコンをオスと、Loraのタブが出てきて、好きなLoRAファイルを選ぶとプロンプトにキーワードが追加されます。配布ページで指定されているキーワードも忘れず追加、その他のプロンプトも指定できます。
以下、試しにLoRAを使って生成した2次元画像(Anything v4.5モデルを使用)と3次元コスプレ画像(ChilloutMixモデルとJapanese Doll Likeness LoRAを使用)を載せておきます。EasyNegativeも使っています。
オリジナルとはだいぶ違っていますし、愛がこもった本物のコスプレには敵いませんが、全くプロンプトやパラメーターを調整していない感じでも、簡単に特定のキャラクターを生成したり、違う学習済みモデルに適用したりできるのはすごいですね。
Yae Miko | Realistic Genshin LORA
Kamisato Ayaka | 神里綾華 (Genshin Impact)
2B (NieR:Automata) LoRA / YorHA edition
目隠しバイザー付けさせるのは難しいですねw
Shinobu Kochou (Demon Slayer) LoRA
Lycoris Recoil-锦木千束/Nishikigi Chisato
Hitori Gotoh (Bocchi the Rock!)
Violet Evergarden 薇尔莉特·伊芙加登 ヴァイオレット・エヴァーガーデン
どれもなかなかリアルなコスプレ画像ですね。
余談ですが、BingのAIが絵を描けるようになったというので試してみたところ、なかなかな嘘つきでした(笑)(私の環境ではまだ使えませんでした)