UCバークレーの2Dからの3D化手法、占有空間のみを精緻化することでコストを削減

単一の小さな2D画像からオブジェクトの3D形状を推論することは、コンピュータにとって本当に難しく、かつ有用である。ARやVRにおけるオブジェクト追跡やクリエイティブなワークフローに役立つだろう。障害となるのは計算量である。100×100ピクセルの画像は100立方のボリューム内の100万ボクセルに対応し、128ピクセルに達すると約200万ボクセルになり、各ボクセルは元の画像を分析することで空か充填かに分類される。

素直なアプローチは、その高解像度ボリューム全体を計算することであり、そのコストこそが2D画像から3D形状を外挿することを妨げていた。バークレー人工知能研究ラボの研究者であるChristian Häne氏は、完全なボリュームは実際には決して必要ないことに気づいた。目的はオブジェクトの表面を記述することだけであり、その周囲や内部の空の空間は重要ではない。

彼のシステムは非常に低解像度の3D再構築から始まり、これにより例えばボリュームの外側3分の1が空であることがすでに示されるため、その空間は捨てられる。次に、保持された領域をより高い解像度でレンダリングし、次の空の空間の層を見つけて破棄し、これを繰り返す。数回のパスを経て、比較的少ない計算で高空間解像度のボリュームが生成される。意味のある情報を含むと分かっている部分だけを常に計算するからである。

この方法で構築されたモデルは、より伝統的な手段で生成されたものと比較され、一般に同等以上に見えながら、はるかに少ない計算を必要とした。より多くの例は論文に掲載されている。TechCrunchの報道は限界について慎重であった。これは完全な解決策にはほど遠く、人間は依然として桁違いに優れているが、この回避策は人間の視覚が不要とみなすデータを捨てる方法を反映している。

まず粗いボリュームをレンダリングし、空の空間を捨て、残った部分だけを精緻化する

粗いパスはほとんどコストがかからないが、大きな空の領域がどこにあるかを確実に示すため、ほとんどのボクセルは高解像度で計算される前に排除される。

空の空間はバウンディングボリュームの大部分を占めるため、生き残った領域に計算を集中させることで、高コストな作業を構造が存在する場所に正確に集中させることができる。

各精緻化は前の粗いパスが非空であると示した部分のみを再レンダリングするため、品質は崩壊しない。アルゴリズムが作業を続ける場所に誤差が留まるからである。

この手法は、手に負えない全ボリュームの問題を、繰り返しの安価な部分問題に変換する。そのためコストはボックス全体ではなく、記述される表面に比例してスケールする。

解決空間の大部分が空である場合、まず安価な粗いパスを行い、重要でないものを破棄し、高コストな計算を生き残ったものだけに費やす。

論文とバークレーAIリサーチのブログ投稿は2017年8月に公開され、この解決策を計算的に巧妙で、額を叩くほど単純と評したTechCrunchの記事は、161ポイントのHacker Newsの議論を呼んだ。報告された比較では、階層的モデルは従来の全ボリューム再構築と同等以上でありながら、はるかに少ない計算で済むことが分かった。報道はこれを完成した答えではなく回避策と呼んだ。人間は単一画像からの3D推論において依然として桁違いに優れており、この手法は不要なデータを捨てるという脳の習慣を借りることで機能している。