Claude Code に Unity・Blender・ComfyUI・VRoid Studio などを連動させればどこまでゲームを作れるのかな?と思い、ローカル生成AIなどを使った3Dゲーム制作環境を作り、3D RPGを試作してみました。Unity や Blender は少し使ったことがあるものの、詳しい使い方は知らない私ですが、Claude Codeでどこまでできるのかなと興味があり、環境構築からゲームストーリーの考案、実装まで、すべてClaude Codeに任せる形で試してみました。
Claude Code が MCPやAPI、コマンド などを使って、すべての道具を操作し、結果を確かめることができる環境をまず構築してもらいました。
コマンド 1 つで、文章から Unity のプレハブまで作れます。中身は 4 段階です。
1 体あたり 2〜7 分です。作るもののリストを渡せば、まとめて作れます。ComfyUI がメモリ不足で落ちることもありましたが、自動で再起動して作り直してもらいました
人物はさらに、Blender でボーンとウェイトを自動で入れ、Unity の Humanoid にして歩かせられるようにしました。関節の位置はメッシュの断面から推定します。失敗を見逃さないよう、段階ごとに検査も入れています。
この仕組みで、町の建物 12 種と人物 20 人を作りました。ただし人物については、あとで大きな壁にぶつかります(後述)。
「簡単な 3D RPG を作って」と頼むと、Claude Code はまず物語とゲーム設計を提案し、了解を得てから作り始めました。
物語は、町を守る「ひかりの泉」の光が消えかけているところから始まります。
AIが仕込んだ仕組みは次のとおりです。
動作の確認も Claude Code が自分で行います。プレイ中のゲームに確認用のスクリプトを流し、主人公を動かして物語を最後まで通し、画面を撮って見ていました。
最初の試作を遊んだときの一番の不満は、人物に統一感が無いことでした。生成した人物は 1 体ずつ別のコンセプト画像から作るので、次のようにばらばらでした。
そこで、人物を全員 VRoid Studio の素体から作り直しました。VRoid Studio MCPを導入し、Claude Code が髪型・服・目・色を選び、全員を頭・手・足の大きさを全員そろえて作りました。主人公と物語の 4 人、町の人 8 人の計 13 人を書き出しました。
ただし VRoid Studio だけでは、長老が若く見え、鍛冶屋も普通の青年に見えます。そこで書き出した VRM を Blender(VRM アドオン)で編集しました。
生成AIで作ったモデルがイマイチだったスライムやボス「キノコ大王」もBlenderを使ってAIにモデリングしてもらいました。
生成AIが作った動作はぎこちなかったので、Miamoのモーションを使うようにしたり、遠景は生成AIで作った背景を貼り付けたりしました。
最後に、無音だったゲームに BGM と効果音を入れました。効果音はプログラムで合成、BGM は生成 AI で作成しました。
曲は、町から草原へ出ると草原の曲に、ボスが現れるとボス戦の曲に、泉に光が戻るとエンディングに、重ねながら切り替わります。足音は歩いた距離で、会話の文字送りの音は 3 文字ごとに鳴らしています。
できたゲームのプレイ動画
Claude Code に Unity・Blender・ComfyUI・VRoid Studio を操作させることで、物語づくりから 3D アセット、アニメーション、戦闘、会話、画面表示、音楽と効果音までを、対話だけで一本の遊べる RPG にまとめられました。クオリティはまだまだですが、これくらいは生成AIでできるということが分かりました。