论文部分内容阅读
基于图像的三维重建是计算机视觉研究领域的一个经典研究课题,它在很多领域都有很重要的应用,例如遥感,增强现实,虚拟现实,无人驾驶都有很重要的应用。而在特定的人体三维重建邻域,基于摄像机阵列的系统能够同时拍摄多个视角的人体图像,同时利用预先标定的相机的内参和外参作为输入数据,可以重建出较好的3D人体模型。随着GPU算力的显著提升,利用GPU进行并行高效三维重建,也变得越来越常见。现在在基于图像的三维重建领域,对于弱纹理的深度恢复尚有所欠缺,为此我们提出了利用可见外壳对深度和法向量同时进行约束的方法,来改善弱纹理区域深度恢复的稳定性和质量。为此,我们采用了基于全卷积网络的人体分割的方法来自动分割图像,将提取出来的Mask用于可见外壳的获取。在Schonberger等[1]的基于视图选择的PatchMatch方法的基础上,我们提出了奇偶交替迭代的视图选择算法。整个算法的框架是利用广义期望最大化(GEM)的思想,其中包括E-Step和M-Step。一方面利用隐式马尔可夫链进行视图的选择,即E-Step。另一方面,在PatchMatch算法进行深度恢复,选择更多的邻近信息进行迭代,提高了收敛速度,即M-Step。最后,针对原来在Schonberger等的工作并行程度不高的问题,提出利用奇偶交替迭代的方式,做到了每个像素独立并行,大大提高了并行效率。在GTX 1080 Ti下面进行性能测试,在几乎不失精度的基础上,速度提升至Schonberger等的方法的两倍。随着三维重建的技术的发展,自动高效的三维重建系统需求也越来越高,所以我们设计了从人体Mask分割、深度恢复、表面重建和纹理贴图一体的自动化三维重建工具。普通用户只要输入图像数据和摄像机参数,就可以自动完成三维重建和纹理贴图,得到一个观赏性较好的三维模型结果。