
はじめに
Claude Code に Unity・Blender・ComfyUI・VRoid Studio などを連動させればどこまでゲームを作れるのかな?と思い、ローカル生成AIなどを使った3Dゲーム制作環境を作り、3D RPGを試作してみました。Unity や Blender は少し使ったことがあるものの、詳しい使い方は知らない私ですが、Claude Codeでどこまでできるのかなと興味があり、環境構築からゲームストーリーの考案、実装まで、すべてClaude Codeに任せる形で試してみました。
環境の構成

Claude Code が MCPやAPI、コマンド などを使って、すべての道具を操作し、結果を確かめることができる環境をまず構築してもらいました。
3D アセット生成パイプライン
コマンド 1 つで、文章から Unity のプレハブまで作れます。中身は 4 段階です。
- Flux(画像生成)でコンセプト画像を描く
- Trellis2 で画像から 3D モデル(GLB)を作る
- Blender で FBX に変え、大きさと原点をそろえ、テクスチャを Unity 向けに直す
- Unity でマテリアルとプレハブを作り、確認用の画像を撮る
1 体あたり 2〜7 分です。作るもののリストを渡せば、まとめて作れます。ComfyUI がメモリ不足で落ちることもありましたが、自動で再起動して作り直してもらいました
人物はさらに、Blender でボーンとウェイトを自動で入れ、Unity の Humanoid にして歩かせられるようにしました。関節の位置はメッシュの断面から推定します。失敗を見逃さないよう、段階ごとに検査も入れています。
- コンセプト画像: 形の検査(腕が水平に広がっているかなど)と、画像を読む AI(Qwen3-VL)による、はい・いいえの 7 問
- ボーン: 腕の角度、肩の高さ、左右差を測り、悪ければ別の乱数で作り直す
- テクスチャ: 暗すぎたら作り直す

この仕組みで、町の建物 12 種と人物 20 人を作りました。ただし人物については、あとで大きな壁にぶつかります(後述)。
RPG「ひかりの泉と三つのかけら」
「簡単な 3D RPG を作って」と頼むと、Claude Code はまず物語とゲーム設計を提案し、了解を得てから作り始めました。
物語は、町を守る「ひかりの泉」の光が消えかけているところから始まります。
- 泉のそばの長老に話を聞く
- 鍛冶屋から剣を受け取る
- 東の草原で、体の中に光のかけらを飲みこんだスライム 3 体を倒す
- かけらがそろうと、祠に森の主「キノコ大王」が現れる
- 大王を倒して「泉の核」を拾い、泉に返すと光が戻って終わり
AIが仕込んだ仕組みは次のとおりです。
- 会話: 物語の 4 人(長老・鍛冶屋・宿屋・門番)と町の人 8 人。台詞は物語の進み具合で変わり、話しかけると立ち止まって振り向く
- 戦闘: 剣の 2 連撃、HP・経験値・レベル、やられたら広場で復活
- 敵: 跳ねて体当たりしてくるスライムと、跳び上がってのしかかるボス
- 画面: HP バー、目的、かけらの数、会話の窓、ダメージの数字
- 音: 場所と場面で切り替わる BGM 4 曲と、効果音・環境音 28 個(後述)
- 操作: キーボードとゲームパッド。操作説明は、最後に触った方に合わせて切り替わる
動作の確認も Claude Code が自分で行います。プレイ中のゲームに確認用のスクリプトを流し、主人公を動かして物語を最後まで通し、画面を撮って見ていました。
統一感の壁:人物を VRoid で作り直す
最初の試作を遊んだときの一番の不満は、人物に統一感が無いことでした。生成した人物は 1 体ずつ別のコンセプト画像から作るので、次のようにばらばらでした。
- 顔: 欧米のカートゥーン風とアニメ風が混ざる
- 体型: 身長 1.53〜1.85 m、頭身も人それぞれ
- 手足: 手の大きさが身長の 0.06〜0.10、足が 0.13〜0.19 とそろわず、指はくっついたまま

そこで、人物を全員 VRoid Studio の素体から作り直しました。VRoid Studio MCPを導入し、Claude Code が髪型・服・目・色を選び、全員を頭・手・足の大きさを全員そろえて作りました。主人公と物語の 4 人、町の人 8 人の計 13 人を書き出しました。
ただし VRoid Studio だけでは、長老が若く見え、鍛冶屋も普通の青年に見えます。そこで書き出した VRM を Blender(VRM アドオン)で編集しました。
- 長老: 顔のテクスチャにしわを描き、毛の房を並べたとがったあごひげと口ひげを足す
- 鍛冶屋: 腕と胸を太くし、革のエプロン、腰のハンマー、短く刈ったひげを足す
生成AIで作ったモデルがイマイチだったスライムやボス「キノコ大王」もBlenderを使ってAIにモデリングしてもらいました。


動作・背景・音など
生成AIが作った動作はぎこちなかったので、Miamoのモーションを使うようにしたり、遠景は生成AIで作った背景を貼り付けたりしました。

最後に、無音だったゲームに BGM と効果音を入れました。効果音はプログラムで合成、BGM は生成 AI で作成しました。
曲は、町から草原へ出ると草原の曲に、ボスが現れるとボス戦の曲に、泉に光が戻るとエンディングに、重ねながら切り替わります。足音は歩いた距離で、会話の文字送りの音は 3 文字ごとに鳴らしています。
できたゲームのプレイ動画
まとめ
Claude Code に Unity・Blender・ComfyUI・VRoid Studio を操作させることで、物語づくりから 3D アセット、アニメーション、戦闘、会話、画面表示、音楽と効果音までを、対話だけで一本の遊べる RPG にまとめられました。クオリティはまだまだですが、これくらいは生成AIでできるということが分かりました。



