L'astuce 3D-à-partir-de-2D de UC Berkeley réduit les coûts en n'affinant que l'espace occupé

Déduire la forme 3D d'un objet à partir d'une seule petite image 2D est réellement difficile pour les ordinateurs, et utile : cela aiderait au suivi d'objets en RA et en RV ainsi que dans les flux de création. L'obstacle est arithmétique. Une image de 100 par 100 pixels correspond à un million de voxels dans un volume de 100 au cube, et atteindre 128 pixels en demande environ deux millions, chaque voxel étant classé comme vide ou plein par analyse de l'image d'origine.

L'approche directe consistait à calculer tout ce volume à haute résolution, et c'est son coût qui avait freiné l'extrapolation de formes 3D à partir d'images 2D. Christian Häne, chercheur au Berkeley Artificial Intelligence Research lab, a réalisé que le volume complet n'était en fait jamais nécessaire : l'objectif est seulement de décrire la surface d'un objet, et l'espace vide autour et à l'intérieur de celui-ci n'a pas d'importance.

Son système commence par une reconstruction 3D à très basse résolution, qui montre déjà, par exemple, que le tiers extérieur du volume est vide, si bien que cet espace est jeté. Il rend ensuite la région conservée à plus haute résolution, trouve les couches suivantes d'espace vide, les écarte, et répète. Après quelques passes, il dispose d'un volume à haute résolution spatiale produit avec relativement peu de calcul, parce qu'il ne calcule jamais que les parties dont il sait qu'elles contiennent des informations significatives.

Les modèles construits de cette manière ont été comparés à ceux produits par des moyens plus traditionnels et sont généralement apparus aussi bons ou meilleurs tout en exigeant bien moins de calcul, avec davantage d'exemples dans l'article. La couverture de TechCrunch s'est montrée prudente sur les limites : c'est loin d'être une solution complète et les humains restent de plusieurs ordres de grandeur meilleurs, mais le contournement reflète la façon dont la vision humaine écarte les données qu'elle juge superflues.

Rendre d'abord un volume grossier, écarter l'espace vide, puis n'affiner que ce qui reste

Une passe grossière coûte presque rien mais montre de façon fiable où se trouvent les grandes régions vides, si bien que la plupart des voxels sont éliminés avant même d'être calculés à haute résolution.

L'espace vide domine un volume englobant, donc concentrer le calcul sur la région survivante focalise le travail coûteux exactement là où la structure existe.

La qualité ne s'effondre pas parce que chaque affinage ne rend que ce que la passe grossière précédente a montré comme non vide, maintenant l'erreur là où l'algorithme continue de travailler.

L'astuce transforme un problème de volume complet inabordable en sous-problèmes bon marché répétés, si bien que le coût évolue avec la surface décrite plutôt qu'avec la boîte entière.

Lorsque l'essentiel de l'espace de solution est vide, effectuer d'abord une passe grossière bon marché, écarter ce qui ne peut pas compter, et consacrer le calcul coûteux uniquement à ce qui survit.

L'article et un billet de blog du Berkeley AI Research sont parus en août 2017, et la rédaction de TechCrunch, qui a qualifié la solution d'astucieuse sur le plan computationnel et de simple à se taper le front, a suscité une discussion Hacker News de 161 points. Les comparaisons rapportées ont trouvé les modèles hiérarchiques aussi bons ou meilleurs que les reconstructions traditionnelles à volume complet avec bien moins de calcul. La couverture l'a qualifié de contournement, non de réponse achevée : les humains restent de plusieurs ordres de grandeur meilleurs pour l'inférence 3D à partir d'une seule image, et la méthode fonctionne en empruntant à l'habitude du cerveau d'écarter les données superflues.