UC 버클리의 2D→3D 기법, 점유된 공간만 정밀화해 비용 절감

작은 2D 이미지 한 장으로 물체의 3D 형상을 추론하는 것은 컴퓨터에게 정말 어려운 일이면서도 유용하다. AR과 VR에서의 물체 추적과 창작 워크플로에 도움이 되기 때문이다. 걸림돌은 산술이다. 100×100픽셀 이미지는 100 세제곱 부피에서 100만 복셀에 대응하고, 128픽셀에 이르면 약 200만 개가 되며, 모든 복셀은 원본 이미지를 분석해 비어 있음 또는 채워짐으로 분류된다.

단순한 접근법은 그 고해상도 부피 전체를 계산하는 것이었고, 그 비용이 2D 이미지로부터 3D 형상을 외삽하는 일을 가로막고 있었다. 버클리 인공지능 연구소(BAIR)의 연구원 Christian Häne은 전체 부피가 실제로는 전혀 필요하지 않다는 것을 깨달았다. 목표는 물체의 표면만 기술하는 것이며, 그 주위와 내부의 빈 공간은 중요하지 않다.

그의 시스템은 매우 낮은 해상도의 3D 재구성으로 시작한다. 이는 이미 예를 들어 부피의 바깥 3분의 1이 비어 있음을 보여주므로 그 공간은 버려진다. 그런 다음 유지된 영역을 더 높은 해상도로 렌더링하고, 다음 빈 공간 층들을 찾아 버리고, 이를 반복한다. 몇 번의 패스 후에는 의미 있는 정보가 포함되어 있다고 아는 부분만 계산하기 때문에 상대적으로 적은 계산으로 높은 공간 해상도의 부피를 얻는다.

이렇게 만들어진 모델들은 더 전통적인 수단으로 생성된 것들과 비교되었고, 일반적으로 비슷하거나 더 좋아 보이면서도 훨씬 적은 계산을 요구했으며, 더 많은 예시는 논문에 있다. TechCrunch의 보도는 한계에 신중했다. 이것은 완전한 해결책과는 거리가 멀고 인간은 여전히 몇 자릿수만큼 더 뛰어나지만, 이 우회법은 인간의 시각이 불필요하다고 판단하는 데이터를 버리는 방식과 닮아 있다.

먼저 거친 부피를 렌더링하고, 빈 공간을 버린 다음, 남은 부분만 정밀화한다

거친 패스는 거의 비용이 들지 않으면서도 큰 빈 영역이 어디에 있는지 신뢰성 있게 보여주므로, 대부분의 복셀은 고해상도로 계산되기 전에 제거된다.

빈 공간이 경계 부피를 지배하므로, 살아남은 영역에 계산을 집중하면 비싼 작업이 구조가 존재하는 곳에 정확히 집중된다.

각 정밀화는 이전의 더 거친 패스가 비어 있지 않다고 보여준 부분만 다시 렌더링하므로 품질이 무너지지 않고, 알고리즘이 계속 작동하는 곳에 오차가 머문다.

이 기법은 감당할 수 없는 하나의 전체 부피 문제를 반복되는 값싼 하위 문제들로 바꾸므로, 비용은 전체 상자가 아니라 기술되는 표면에 비례한다.

해답 공간의 대부분이 비어 있을 때는 먼저 값싼 거친 패스를 하고, 중요할 수 없는 것을 버리며, 비싼 계산은 살아남은 것에만 쓴다.

논문과 버클리 AI 연구소 블로그 게시물은 2017년 8월에 나왔고, 이 해결책을 계산적으로 영리하고 이마를 치게 할 만큼 단순하다고 평한 TechCrunch의 기사는 161점의 Hacker News 토론을 불러일으켰다. 보도된 비교에 따르면 계층적 모델들은 훨씬 적은 계산으로 전통적인 전체 부피 재구성만큼 좋거나 더 좋았다. 보도는 이것을 완성된 답이 아니라 우회법이라고 불렀다. 인간은 단일 이미지 3D 추론에서 여전히 몇 자릿수만큼 더 뛰어나며, 이 방법은 불필요한 데이터를 버리는 뇌의 습관을 빌려 작동한다.