解法
从单张小的2D图像推断物体的3D形状对计算机来说真正困难,但也很有用:它可以用于AR和VR中的物体追踪及创意工作流。障碍是计算量。一张100x100像素图像映射到100立方的体积中的100万个体素,增大到128像素需要约200万个体素,每个体素都要通过分析原始图像来分类为空白或占用。
直接方法是计算整个高分辨率体积,其成本阻碍了从2D图像外推3D形状。伯克利人工智能研究实验室的研究员Christian Häne意识到,完整体积从未真正必要:目标只是描述物体表面,周围和内部的空白空间无关紧要。
他的系统从非常低分辨率的3D重建开始,这已经显示例如体积外部三分之一是空的,这部分被丢弃。然后它以更高分辨率渲染保留的区域,找出下一层空区域并丢弃,重复此过程。经过几次迭代后,系统得到高空间分辨率的体积,而计算量相对较小,因为它只计算已知包含有意义信息的部分。
以这种方式构建的模型与传统方法生成的模型比较,通常显得同样好或更好,且计算量少得多,论文中有更多示例。TechCrunch的报道对局限性谨慎:这远非完整解决方案,人类仍胜过几个数量级,但此方法类似于人类视觉丢弃它认为多余的数据。
What it achieved
先渲染一个粗糙的体积,丢弃空区域,然后只精修剩余的。
为什么有效
粗略一轮几乎没有成本,但能可靠地显示大片空区域,因此大多数体素在高分辨率计算前已被消除。
空白区域主导包围体积,因此集中计算保留区域将昂贵的工作精确指向结构存在的地方。
质量不会下降,因为每次精炼只重新渲染先前粗略一轮显示非空的部分,将错误留在算法持续工作的区域。
该技巧将一个不可承受的全体积问题转变为多个廉价的子问题,因此成本随所描述的表面缩放,而不是整个盒子。
可以借鉴什么
当解决方案大部分是空白时,先做廉价粗略一轮,丢弃不可能重要的部分,并将昂贵的计算只用于幸存的部分。
后续
论文和伯克利AI研究博客文章于2017年8月发布,TechCrunch的报道称这一解决方案计算上巧妙且简单到拍额头,引发了161点的Hacker News讨论。报告的比较发现,分层模型与传统全体积重建相当或更好,且计算量少得多。报道称之为变通方法,而非完成答案:人类在单张图像3D推断上仍超出几个数量级,该方法借用大脑丢弃多余数据的习惯。
从这里,追溯依据