1枚のポートレート写真からフル3Dモデルを作成できる PIFuHDを試してみました

1枚の人物画像からフル3Dモデルを作成する技術「PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization」が公開されました。CVPR(Computer Vision and Pattern Recognition) 2020の技術論文です。

GitHubでソースが公開されているので実行してみようと思いましたが、GPUのRAMが最小8GB必要らしく私のPCでは実行できず。
簡単にGoogle Colaboratoryで動作できるデモ環境も公開されていたのでこちらをコピーして、sample_images/test.pngを自前の写真に置き換えて、色々試してみました。

正直うまく人物を認識できずまともに3D化できない写真も多かったですが、このポートレート写真ではかなりうまく3Dモデル化することができました。
モデルはSIGMA GLOBAL VISION 体験イベントの時の紗々さんです。

入力情報が写真だけなのに立体が違和感なく生成されています。

写真には写っていない背面もかなり自然にできているのが驚きですね。

3Dスキャンしなくても写真１枚から3Dプリンターでフィギュアが作成できたりなんてことが実現できるようになるかも。