UC Berkeleys 3D-aus-2D-Trick senkt Kosten durch Verfeinerung nur des belegten Raums

Die 3D-Form eines Objekts aus einem einzigen kleinen 2D-Bild abzuleiten, ist für Computer wirklich schwierig – und nützlich: Es würde die Objektverfolgung in AR und VR sowie kreative Arbeitsabläufe unterstützen. Das Hindernis ist die Rechenmenge. Ein Bild mit 100 × 100 Pixeln entspricht einer Million Voxel in einem Volumen von 100 hoch drei, und für 128 Pixel sind es etwa zwei Millionen, wobei jedes Voxel durch Analyse des Originalbildes als leer oder gefüllt klassifiziert wird.

Der geradlinige Ansatz bestand darin, dieses gesamte hochauflösende Volumen zu berechnen, und genau diese Kosten hatten die Extrapolation von 3D-Formen aus 2D-Bildern bisher aufgehalten. Christian Häne, Forscher am Berkeley Artificial Intelligence Research Lab, erkannte, dass das vollständige Volumen nie tatsächlich benötigt wurde: Ziel ist es nur, die Oberfläche eines Objekts zu beschreiben, und der leere Raum um es herum und in seinem Inneren spielt keine Rolle.

Sein System beginnt mit einer sehr niedrig aufgelösten 3D-Rekonstruktion, die bereits zeigt, dass beispielsweise das äußere Drittel des Volumens leer ist, sodass dieser Raum verworfen wird. Anschließend rendert es den beibehaltenen Bereich in höherer Auflösung, findet die nächsten Schichten leeren Raums, verwirft sie und wiederholt den Vorgang. Nach einigen Durchläufen liegt ein Volumen mit hoher räumlicher Auflösung vor, das mit vergleichsweise wenig Berechnung erzeugt wurde, weil es stets nur die Teile berechnet, von denen bekannt ist, dass sie aussagekräftige Informationen enthalten.

So erzeugte Modelle wurden mit solchen verglichen, die mit traditionelleren Mitteln hergestellt wurden, und erwiesen sich im Allgemeinen als ebenso gut oder besser, während sie weit weniger Berechnung erforderten; weitere Beispiele finden sich in der Arbeit. Die Berichterstattung von TechCrunch war bei den Grenzen sorgfältig: Es handelt sich keineswegs um eine vollständige Lösung, und Menschen sind nach wie vor um Größenordnungen besser, doch der Umweg ähnelt der Art und Weise, wie das menschliche Sehen Daten verwirft, die es als überflüssig erachtet.

Zuerst ein grobes Volumen rendern, leeren Raum verwerfen und dann nur das Verbleibende verfeinern

Ein grober Durchlauf kostet fast nichts und zeigt dennoch zuverlässig, wo die großen leeren Bereiche liegen, sodass die meisten Voxel eliminiert werden, bevor sie jemals in hoher Auflösung berechnet werden.

Leerer Raum dominiert ein Begrenzungsvolumen, daher konzentriert die Bündelung der Berechnung auf den verbleibenden Bereich die teure Arbeit genau dort, wo Struktur vorhanden ist.

Die Qualität bricht nicht ein, weil jede Verfeinerung nur das neu rendert, was der vorherige gröbere Durchlauf als nicht leer gezeigt hat, sodass Fehler dort verbleiben, wo der Algorithmus weiterarbeitet.

Der Trick verwandelt ein unbezahlbares Vollvolumenproblem in wiederholte günstige Teilprobleme, sodass die Kosten mit der zu beschreibenden Oberfläche statt mit der gesamten Box skalieren.

Wenn der größte Teil des Lösungsraums leer ist, führt man zuerst einen günstigen groben Durchlauf durch, verwirft, was keine Rolle spielen kann, und investiert die teure Berechnung nur in das, was übrig bleibt.

Die Arbeit und ein Blogbeitrag des Berkeley AI Research erschienen im August 2017, und der Artikel von TechCrunch, der die Lösung rechnerisch clever und verblüffend einfach nannte, zog eine Hacker-News-Diskussion mit 161 Punkten nach sich. Berichtete Vergleiche ergaben, dass die hierarchischen Modelle ebenso gut oder besser waren als traditionelle Vollvolumen-Rekonstruktionen, bei weit weniger Berechnung. Die Berichterstattung bezeichnete es als Umweg, nicht als fertige Antwort: Menschen sind bei der 3D-Ableitung aus einem Einzelbild nach wie vor um Größenordnungen besser, und die Methode funktioniert, indem sie die Neigung des Gehirns übernimmt, überflüssige Daten zu verwerfen.