Looking Glass Go に AI美女ホログラムを表示してみました #LookingGlassGo #Mac #Comfyui #Marigold

Kibidangoで支援していたポケットサイズの空間AIディスプレイ #LookingGlassGoが届きました。
とりあえず試しに、MacローカルでFlux.1Devで生成したAI美女の深度情報をComfyui+Marigold depth estimationを使って推定し、RGBD画像にして表示してみました。

コンテンツ目次

1 Looking Glass Go
2 Marigold depth estimation in ComfyUI

Looking Glass Go

シンプルな外箱だなと思ったら、

さらに中に箱がありました。ホログラムを意識して、一部キラキラ光っています。

本体の他、USB-Cケーブル、ACアダプタ、クリーニングクロスが入っています。

ホログラムなシールなども付いていました。

本体の大きさは、ちょうどGalaxy S24 Ultraと同じくらい。厚さは倍以上あります。

ディスプレイ部分を立ち上げることができます。

台座には、再生コントロールボタン、電源ボタン電源インジケーター、USB-C端子、

USB-A端子、イヤホンジャックが付いていますね。

早速、USB-Cケーブルを接続して電源ボタンを押します。

起動画面のあと、自動的にサンプルの立体写真が表示されます。
3Dグラスなしの裸眼で、立体的に見えますね。

Screenshot_20240906_112729_Looking Glass Go

スマホにLooking Glass Goのアプリをインストールします。サインアップして、本体の電源を入れ、>>|ボタンを5秒長押しします。
そして[Device is ready to pair]を押せば、Looking Glass Goが見つかります。

指示どおりWiFi設定をすれば、ファームウェアのアップデートが行われます。

Screenshot_20240906_113611_Looking Glass Go

アプリからスマホに入っている写真を選んで送れば、自動的に深度情報が推定され、Looking Glass Goに表示されます。

確かに簡単ですが、深度の推定がいまいちな感じがしました。動画を撮影してより精度の良い空間写真を作るなどの方法もあるようですが、今回は別の深度推定技術を使ってみることにしました。

Marigold depth estimation in ComfyUI

ComfyuiのCustom Node Managerから、「Marigold depth estimation in ComfyUI」と「ImagesGrid」をInstallします。
ここのworkflowをベースに、ImageCombineとImagesGridByRowsで、元の画像と深度画像を左右に並べた画像を生成し保存します（これがRGBD画像だそう）。
少し時間はかかりますが、かなり細かくリアルに深度が設定されるので、ホログラムにしたときの印象が変わります。
ちなみに、MiDaS Depth Mapも試しましたが、こちらは高速ですがかなりざっくりな深度情報になりました。

MacなどにUSB-CでLooking Glass Goを接続すると、1440×2560の外部ディスプレイとして認識されます。
さらに、下記からLooking Glass BridgeとLooking Glass Studioをダウンロードしてインストールします。
https://docs.lookingglassfactory.com/software-tools/looking-glass-bridge
https://docs.lookingglassfactory.com/software-tools/looking-glass-studio/using-looking-glass-studio

Looking Glass Bridgeを起動したあと、Looking Glass Studioを使って、RGBD写真・動画を表示することができます。
ADD HOLOGRAMに作成したRGBD画像ファイルをドロップします。

するとリストにタイトルが表示され、それを選択するとLooking Glass Goにホログラムが表示されます。
PropertiesのDepthinessとFocusでより自然な設定を行えば、驚くほどきれいなホログラム画像になりました。（細かな部分は一部ゴミが出ますが）
Focusは画面面に一番フォーカスしたい場所（瞳など）が合うようにすると、とてもきれいに見えます。（飛び出させるとボケて見えます）