1枚の画像から3Dモデルを生成するAI #TripoSR をStability AIが発表

Stable DiffusionのStability AIが、1枚の画像から高速に3Dモデルを生成するAI「TripoSR」を発表しました。
デモが公開されていて簡単に試すことができますが、ソースコードやモデルも公開されていますので、WindowsPCにインストールしてみました。

インストールはコマンドプロンプトでこんな感じで。

git clone https://github.com/VAST-AI-Research/TripoSR
cd TripoSR
pip install --upgrade setuptools
pip install torch -f https://download.pytorch.org/whl/torch_stable.html
pip install -r requirements.txt
pip install gradio

デモ環境を起動します。

python gradio_app.py

Running on local URL: http://127.0.0.1:7860と出たら、ブラウザでURLを開きます。

すでに用意されている画像を選んで試すこともできますが、画像をドラッグ＆ドロップして動かすこともできます。
最初に背景が消去され、3Dモデルが生成されます。RTX2060なので、超高速というわけではないですが、結構速くなかなか良い感じの3Dモデルが生成できますね。

3Dモデルはダウンロードして、MeshLabなどで確認することができました。

画像では写っていない裏側も生成されます。
色々な画像で試してみましたが、比較的単純なものであれば思った以上に良い感じで3Dモデルが生成できます。
生成AIで作った画像をベースに3Dモデルを作るなんてこともできました。