Looking Glass Go で AI会話できるMMDモデルをホログラム表示 #ChatGPT #ChatdollKit #VOICEVOX #LookingGlassGo

Looking Glass GoでAI生成の美女をホログラム表示したのに続き、ホログラムの3Dキャラクターと会話する（MMDモデルをUnityで動かし、OpenAIとVOICEVOXで会話できるようにして、Looking Glass Goでホログラム表示する）というのをやってみました。
と言っても、先人がすでに実現されていて手順を詳細に公開されているので、それをトレースしただけですが。

ChatdollKit

Looking Glass Goの対応以外は、ChatdollKitでほぼ実現されています（すごいですね）。
下記動画でUnityでの詳細なセットアップ手順が紹介されていますので、OpenAIのAPI Key（有料）を入れる必要がありますが、あっという間に音声でチャットできる3Dモデルができます。

M1 MacBook Proで問題なくできました。

Looking Glass BridgeとLooking Glass Unity Pluginを使うことで、Looking Glass Goに3D表示できます。
一番上部に小さく表示されているメニューを消すのはどうしたらよいのだろう？

Looking Glass Goへの対応とキャラクターの変更

Looking Glass Goでの表示（記事ではLooking Glass Portrait）とMMDモデルやVOICEVOXによる音声の変更については、下記の記事がとても詳しいです。

春日部つむぎをLooking Glass Portraitにノーコードで召喚する
https://qiita.com/yasubehe/items/7a7c3d4f032aaf308df1

真似して、春日部つむぎをLooking Glass Goに召喚してみました。

会話もできました。
ただ全身を映すと、表情が見えにくいですね。

3Dキャラクターの倍率や位置を変えて上半身表示にしてみました。

表情がよく見えや立体感も増して良い感じです。
（動画ではわからないですが、裏でOpenAIの音声認識とGPTで会話やリアクションが自動生成され、VOICEVOXでキャラクターの音声合成が行われています）

先人の皆様、ありがとうございました。これで好きなキャラクターをAIアシスタントとしてLooking Glass Goに表示したりできますね。