画像からメッシュ付きの3Dモデルを作成するローカル生成AIが色々出ているので、RTX5070Ti搭載PCで動かしてみました。
画像やテキストから3Dモデルを作成できる Hunyuan3D-2、画像からアニメーション用3Dキャラクターを作成できる AniGen、3DキャラクターのAI駆動でアニメーションさせる AI4AnimationPy、画像から3Dガウシアンスプラッティングを生成する ML-Sharp などを試してみました。どれもPinokioで簡単にインストールできます。（といいつつ、色々入れていて環境が複雑になっていてうまく動かず、綺麗して動くようにするのに時間がかかってしまいましたが…）
Hunyuan3D v2は、中国Tencent社が開発したオープンソースの3Dモデル生成AI。LowVRAMは少ないVRAM用に最適化・軽量化ものです。テキストや画像から3Dモデルを作成することができます。
テキストから作成するといまいちプロンプトを反映せず中華風になってしまいました。
同じプロンプトで、Z Imageで画像を作成して、その画像から3Dモデルを作成してみました。
「Gen Textured Shape」を押して、1分くらいでテクスチャー付き3Dモデルが生成され、プレビューできます。
「Transform」でglbファイルに変換してダウンロードできます。
形やテクスチャーの破綻は少なく、なかなか綺麗にできますね。
Z Imageで生成されたもう少し複雑な形のキャラクターを3D化してみました。
ちょっとスカートから髪の毛が出たり、後ろ髪が変になったりしていますね。
ちなみに今まではFullモデルでしたが、miniモデルで試したのがこちら。なぜかこちらのほうが上手く生成されました。（たまたまだと思いますが）
あまり細かな画像はテクスチャーが壊れますが、キャラクターだけでなく様々なオブジェクトを１枚の画像からそれっぽく生成できるのはすごいですね。
AniGenは1枚の静止画から「3Dモデル・骨格（リグ）・スキニングウェイト（頂点と骨の連動情報）」を一度に自動生成できる、アニメーション対応の画期的なAI研究プロジェクト。入力画像は人の場合はT字型の方がうまくいきそうなので、Z Imageで画像生成。
使い方はまだよくわかっていませんが、Start (High VRAM)で起動して、SS Modelをss_flow_epic、SLAT Modelをslat_flow_control に設定して「Generate」すると比較的うまくいきました。こちらも1分ほどで生成されます。「Download Mesh GLB」をglbファイルをダウンロードできます。
Hunyuan3Dv2と比べると精度は高くない感じですが、リグが入っているのは面白いです。
Start Viewerでglbファイルを読み込んで、リグを動かして見ることができます。
AI4AnimationPyは、Meta（旧Facebook）の研究チームによってオープンソース化された、3DキャラクターアニメーションのためのPythonフレームワーク。AI駆動型キャラクターアニメーションの実験ができます。
ただ、サンプルだと上手く動くのですが、AniGenで作った3Dキャラクターは上手く動きませんでした（リグが上手く動かない）。Hunyuan3Dv2で作った3Dキャラクターは形が変になりました。もう少し使い方を勉強したいと思います。
今までのものとは毛色が違いますが、WebUI for ML-Sharp (3DGS)はAppleのSHARPという１枚の静止画から3Dガウシアンスプラッティングを生成する技術で、少し3D的に見える動画を生成できます。
１枚の画像から3Dモデルを生成できるローカル生成AIを色々試しましたが、なかなか面白いですね。
