论文部分内容阅读
利用图像序列进行三维重建是计算机视觉领域的一个重要研究方向,在三维扫描、物体检测与识别、增强现实等领域有着广泛的应用。运动恢复结构能够从包含运动信息的图像中恢复出相机的空间位置以及图像特征点云,实现场景的三维重建。基于该输出,使用多视图立体匹配算法能够估计图像深度,得到目标的稠密点云。由于该方法对弱纹理目标重建时存在误差较大的问题,本文对重建系统中的特征匹配部分和图像深度估计部分进行了研究,针对弱纹理目标的特性提出了相应的改进算法,提升其三维重建质量。本文的主要工作如下:1.提出了一种基于ORB的多尺度二值特征描述子。首先利用FAST角点检测算法进行特征点检测,建立图像高斯金字塔使特征具备尺度不变性的同时,便于后续多尺度特征的计算。在描述子构建阶段,首先通过计算特征采样区域的灰度、梯度比较信息得到二进制向量,分别计算多个尺度的采样区域对应的描述子,将其结果融合得到最终的二值描述子。在Oxford数据集上的实验表明,本文的改进描述子对于视角变化、光照变化、图像旋转缩放、图像模糊等图像变化时有更好的匹配效果和鲁棒性,有助于提升重建质量。2.利用全卷积网络进行图像深度预测,帮助提升物体的稠密点云质量。由于多视角立体匹配算法在针对弱纹理目标时,估计所得的图像深度图误差较大,导致物体的重建点云存在部分缺失。本文通过学习算法对深度进行预测,利用基于ResNet-50的全卷积神经网络模型对图像深度进行端到端的训练,得到与输入图像大小相同的深度图,通过实验证明了该方法能够减少图像深度误差。3.针对包含弱纹理目标的图像序列,实现了物体的三维重建。首先使用增量式运动恢复结构系统对物体进行稀疏重建,将提出的改进特征描述子用于特征检测与匹配,通过图像配准与三角化得到了相机的空间位置以及图像场景的稀疏点云。之后利用全卷积网络对所有图像进行深度预测,将预测值与多视角立体匹配方法的输出融合,最终提升了预测精度,填补了目标表面的部分点云缺失,得到了目标的稠密点云。