Claude Code で 3D ゲーム制作環境を作り、RPG を試作した話

はじめに

Claude Code に Unity・Blender・ComfyUI・VRoid Studio などを連動させればどこまでゲームを作れるのかな?と思い、ローカル生成AIなどを使った3Dゲーム制作環境を作り、3D RPGを試作してみました。Unity や Blender は少し使ったことがあるものの、詳しい使い方は知らない私ですが、Claude Codeでどこまでできるのかなと興味があり、環境構築からゲームストーリーの考案、実装まで、すべてClaude Codeに任せる形で試してみました。

環境の構成

Claude Code と 5 つの道具

Claude Code が MCPやAPI、コマンド などを使って、すべての道具を操作し、結果を確かめることができる環境をまず構築してもらいました。

3D アセット生成パイプライン

コマンド 1 つで、文章から Unity のプレハブまで作れます。中身は 4 段階です。

  1. Flux(画像生成)でコンセプト画像を描く
  2. Trellis2 で画像から 3D モデル(GLB)を作る
  3. Blender で FBX に変え、大きさと原点をそろえ、テクスチャを Unity 向けに直す
  4. Unity でマテリアルとプレハブを作り、確認用の画像を撮る

1 体あたり 2〜7 分です。作るもののリストを渡せば、まとめて作れます。ComfyUI がメモリ不足で落ちることもありましたが、自動で再起動して作り直してもらいました

人物はさらに、Blender でボーンとウェイトを自動で入れ、Unity の Humanoid にして歩かせられるようにしました。関節の位置はメッシュの断面から推定します。失敗を見逃さないよう、段階ごとに検査も入れています。

  • コンセプト画像: 形の検査(腕が水平に広がっているかなど)と、画像を読む AI(Qwen3-VL)による、はい・いいえの 7 問
  • ボーン: 腕の角度、肩の高さ、左右差を測り、悪ければ別の乱数で作り直す
  • テクスチャ: 暗すぎたら作り直す
左: T ポーズで描かせたコンセプト画像。右: Blender がメッシュの断面から関節を推定し、正面と横からボーンを重ねて描いた確認画像。

この仕組みで、町の建物 12 種と人物 20 人を作りました。ただし人物については、あとで大きな壁にぶつかります(後述)。

RPG「ひかりの泉と三つのかけら」

「簡単な 3D RPG を作って」と頼むと、Claude Code はまず物語とゲーム設計を提案し、了解を得てから作り始めました。

物語は、町を守る「ひかりの泉」の光が消えかけているところから始まります。

  1. 泉のそばの長老に話を聞く
  2. 鍛冶屋から剣を受け取る
  3. 東の草原で、体の中に光のかけらを飲みこんだスライム 3 体を倒す
  4. かけらがそろうと、祠に森の主「キノコ大王」が現れる
  5. 大王を倒して「泉の核」を拾い、泉に返すと光が戻って終わり

AIが仕込んだ仕組みは次のとおりです。

  • 会話: 物語の 4 人(長老・鍛冶屋・宿屋・門番)と町の人 8 人。台詞は物語の進み具合で変わり、話しかけると立ち止まって振り向く
  • 戦闘: 剣の 2 連撃、HP・経験値・レベル、やられたら広場で復活
  • 敵: 跳ねて体当たりしてくるスライムと、跳び上がってのしかかるボス
  • 画面: HP バー、目的、かけらの数、会話の窓、ダメージの数字
  • 音: 場所と場面で切り替わる BGM 4 曲と、効果音・環境音 28 個(後述)
  • 操作: キーボードとゲームパッド。操作説明は、最後に触った方に合わせて切り替わる

動作の確認も Claude Code が自分で行います。プレイ中のゲームに確認用のスクリプトを流し、主人公を動かして物語を最後まで通し、画面を撮って見ていました。

統一感の壁:人物を VRoid で作り直す

最初の試作を遊んだときの一番の不満は、人物に統一感が無いことでした。生成した人物は 1 体ずつ別のコンセプト画像から作るので、次のようにばらばらでした。

  • 顔: 欧米のカートゥーン風とアニメ風が混ざる
  • 体型: 身長 1.53〜1.85 m、頭身も人それぞれ
  • 手足: 手の大きさが身長の 0.06〜0.10、足が 0.13〜0.19 とそろわず、指はくっついたまま
人物一覧の比較。上: 画像生成から 1 体ずつ作った人物(顔の作風や頭身、明るさがそろわない)。下: VRoid Studio の同じ素体から作った 13 人。

そこで、人物を全員 VRoid Studio の素体から作り直しました。VRoid Studio MCPを導入し、Claude Code が髪型・服・目・色を選び、全員を頭・手・足の大きさを全員そろえて作りました。主人公と物語の 4 人、町の人 8 人の計 13 人を書き出しました。

ただし VRoid Studio だけでは、長老が若く見え、鍛冶屋も普通の青年に見えます。そこで書き出した VRM を Blender(VRM アドオン)で編集しました。

  • 長老: 顔のテクスチャにしわを描き、毛の房を並べたとがったあごひげと口ひげを足す
  • 鍛冶屋: 腕と胸を太くし、革のエプロン、腰のハンマー、短く刈ったひげを足す

生成AIで作ったモデルがイマイチだったスライムやボス「キノコ大王」もBlenderを使ってAIにモデリングしてもらいました。

VRoid Studio で作り、Blender で編集した長老(左)と鍛冶屋(右)。ゲーム中に近くから撮ったもの。
ゲーム画面の比較(左: 最初の版、右: 今の版)。上から、長老との会話、スライムとの戦い、ボス「キノコ大王」、泉に光が戻るエンディング。人物に加えて、剣、スライム、ボスも作り直している。

動作・背景・音など

生成AIが作った動作はぎこちなかったので、Miamoのモーションを使うようにしたり、遠景は生成AIで作った背景を貼り付けたりしました。

上: Flux で描き、空を透明に抜いた北側の遠景。下: それを町を囲む円筒に貼ったゲーム画面(通りの先に城が見える)。

最後に、無音だったゲームに BGM と効果音を入れました。効果音はプログラムで合成、BGM は生成 AI で作成しました。

曲は、町から草原へ出ると草原の曲に、ボスが現れるとボス戦の曲に、泉に光が戻るとエンディングに、重ねながら切り替わります。足音は歩いた距離で、会話の文字送りの音は 3 文字ごとに鳴らしています。

できたゲームのプレイ動画

まとめ

Claude Code に Unity・Blender・ComfyUI・VRoid Studio を操作させることで、物語づくりから 3D アセット、アニメーション、戦闘、会話、画面表示、音楽と効果音までを、対話だけで一本の遊べる RPG にまとめられました。クオリティはまだまだですが、これくらいは生成AIでできるということが分かりました。

saya