Truque 3D-a-partir-de-2D de UC Berkeley reduz custo refinando apenas o espaço ocupado

Inferir a forma 3D de um objeto a partir de uma única imagem 2D pequena é genuinamente difícil para computadores, e útil: ajudaria no rastreamento de objetos em AR e VR e em fluxos de trabalho criativos. O obstáculo é aritmético. Uma imagem de 100 por 100 pixels mapeia para um milhão de voxels em um volume de 100 ao cubo, e chegar a 128 pixels exige cerca de dois milhões, com cada voxel classificado como vazio ou cheio pela análise da imagem original.

A abordagem direta era calcular todo esse volume de alta resolução, e seu custo é o que vinha impedindo a extrapolação de formas 3D a partir de imagens 2D. Christian Häne, pesquisador do laboratório Berkeley Artificial Intelligence Research, percebeu que o volume completo nunca era de fato necessário: o objetivo é apenas descrever a superfície de um objeto, e o espaço vazio ao seu redor e em seu interior não importa.

Seu sistema começa com uma reconstrução 3D de resolução muito baixa, que já mostra, por exemplo, que o terço externo do volume está vazio, de modo que esse espaço é descartado. Em seguida, renderiza a região mantida em resolução mais alta, encontra as próximas camadas de espaço vazio, descarta-as e repete. Após algumas passagens, tem-se um volume de alta resolução espacial produzido com relativamente pouca computação, porque ele só calcula as partes que sabe conterem informação significativa.

Modelos construídos dessa forma foram comparados com os produzidos por meios mais tradicionais e geralmente pareceram tão bons ou melhores, exigindo muito menos computação, com mais exemplos no artigo. A cobertura do TechCrunch foi cuidadosa quanto aos limites: está longe de ser uma solução completa e os humanos continuam ordens de magnitude melhores, mas o contorno espelha como a visão humana descarta dados que considera supérfluos.

Renderizar primeiro um volume grosseiro, descartar o espaço vazio e então refinar apenas o que resta

Uma passagem grosseira custa quase nada e ainda assim mostra de forma confiável onde estão as grandes regiões vazias, de modo que a maioria dos voxels é eliminada antes de ser calculada em alta resolução.

O espaço vazio domina um volume delimitador, então concentrar a computação na região sobrevivente direciona o trabalho caro exatamente para onde existe estrutura.

A qualidade não desmorona porque cada refinamento renderiza apenas o que a passagem grosseira anterior mostrou ser não vazio, mantendo o erro onde o algoritmo continua trabalhando.

O truque transforma um problema inacessível de volume completo em subproblemas baratos repetidos, de modo que o custo escala com a superfície sendo descrita, e não com a caixa inteira.

Quando a maior parte do espaço de solução está vazia, faça primeiro uma passagem grosseira barata, descarte o que não pode importar e gaste a computação cara apenas com o que sobrevive.

O artigo e uma postagem no blog do Berkeley AI Research apareceram em agosto de 2017, e a matéria do TechCrunch, que chamou a solução de computacionalmente engenhosa e de uma simplicidade de bater na testa, gerou uma discussão de 161 pontos no Hacker News. As comparações relatadas consideraram os modelos hierárquicos tão bons ou melhores que as reconstruções tradicionais de volume completo, com muito menos computação. A cobertura chamou isso de contorno, não de resposta acabada: os humanos continuam ordens de magnitude melhores na inferência 3D a partir de uma única imagem, e o método funciona tomando emprestado o hábito do cérebro de descartar dados supérfluos.