论文部分内容阅读
双目视觉技术在计算机视觉领域中仍然属于较火热的研究课题,其在三维重建、机器人实时导航以及自动驾驶中有着广泛的应用。立体匹配在双目视觉中具有举足轻重的地位,其匹配结果的精度将直接影响最终视差图的精度,因此提高双目视觉中立体匹配的精度对促进双目视觉技术的发展有着重要意义。本文主要研究了如何将卷积网络应用在立体匹配中,并改进了网络结构和后处理方法,提高了算法性能,本文主要工作分为以下方面:
(1)对双目技术的海内外研究情况,常用数据集以及立体匹配常用算法进行介绍。同时本文在输入图像块裁剪、视差标签设置以及卷积网络生成视差代价等过程给出详细解释和推导。
(2)针对其他论文中使用单一尺寸卷积核进行特征提取的情况,本文提出了一种卷积核金字塔特征提取方法,首先使用较小尺寸的卷积核计算图像特征,获得局部图像细节信息,随后使用大尺寸卷积核对提取到的图像特征进行汇总。该方法能够在同级别输入图像块尺寸以及相同网络层结构下获得更高的匹配精确度。
(3)对于其他论文当中单纯通过扩大输入图像块尺寸来获得更高匹配正确率的方法,本文提出使用反卷积对输入图像块进行参数化调节,设计了基于反卷积的卷积网络立体匹配模型ADSMNet(Adaptive Deconvolution-based disparity matching Net),并与本文提出的卷积核金字塔特征提取方法相结合,该方法能够充分利用图像信息,在较小的输入感受野下达到较小的匹配错误率。
(4)本文重新设计了卷积网络立体匹配的后处理过程,采用4路径代价聚合方法对卷积网络输出的代价矩阵进行代价聚合,利用聚合后的代价矩阵及二次插值法初步拟合视差图,同时将视差像素精确到亚像素级,设计了内部型左右一致性检测法对初步拟合好的视差图进行左右同名点像素检测,降低了整个后处理算法的复杂度。同时设计了树结构射线填充法,充分利用无效视差点周围的有效视差像素点,对上一步视差图中无效视差像素点进行填充。由实验结果看出,本文设计的卷积网络立体匹配算法能够在较短的时间内获得较高准确度的视差图。
(1)对双目技术的海内外研究情况,常用数据集以及立体匹配常用算法进行介绍。同时本文在输入图像块裁剪、视差标签设置以及卷积网络生成视差代价等过程给出详细解释和推导。
(2)针对其他论文中使用单一尺寸卷积核进行特征提取的情况,本文提出了一种卷积核金字塔特征提取方法,首先使用较小尺寸的卷积核计算图像特征,获得局部图像细节信息,随后使用大尺寸卷积核对提取到的图像特征进行汇总。该方法能够在同级别输入图像块尺寸以及相同网络层结构下获得更高的匹配精确度。
(3)对于其他论文当中单纯通过扩大输入图像块尺寸来获得更高匹配正确率的方法,本文提出使用反卷积对输入图像块进行参数化调节,设计了基于反卷积的卷积网络立体匹配模型ADSMNet(Adaptive Deconvolution-based disparity matching Net),并与本文提出的卷积核金字塔特征提取方法相结合,该方法能够充分利用图像信息,在较小的输入感受野下达到较小的匹配错误率。
(4)本文重新设计了卷积网络立体匹配的后处理过程,采用4路径代价聚合方法对卷积网络输出的代价矩阵进行代价聚合,利用聚合后的代价矩阵及二次插值法初步拟合视差图,同时将视差像素精确到亚像素级,设计了内部型左右一致性检测法对初步拟合好的视差图进行左右同名点像素检测,降低了整个后处理算法的复杂度。同时设计了树结构射线填充法,充分利用无效视差点周围的有效视差像素点,对上一步视差图中无效视差像素点进行填充。由实验结果看出,本文设计的卷积网络立体匹配算法能够在较短的时间内获得较高准确度的视差图。