论文部分内容阅读
双目立体视觉是计算机视觉与图像处理等研究领域的一项重点任务,旨在通过计算左右目视点图像中像素点的视差,进而恢复其场景深度,包含了图像中丰富的几何结构信息。因此,研究双目立体视觉的关键是从立体图像对中提取精准、稠密的视差图,继而为更高级的视觉任务提供可靠的先验信息。21世纪以来,随着计算机硬、软件水平的快速发展,双目立体匹配计算技术已被广泛应用于增强现实、自动驾驶、无人机导航制导与控制、三维重建以及目标识别与跟踪等众多领域。
近年来,随着深度学习理论与技术的不断发展,基于深度卷积神经网络的立体匹配计算精度与鲁棒性得到显著提升。但是,当双目图像中包含弱纹理结构、剧烈光照变化和遮挡等复杂场景时,现有立体匹配算法的准确性与鲁棒性亟待进一步提高。针对以上问题,本文主要研究基于密集卷积神经网络的双目立体匹配计算方法,旨在解决弱纹理、光照变化以及遮挡等复杂场景下立体匹配计算的匹配歧义性和视差图细节损失问题。本文的主要研究内容如下:
1.首先介绍了双目图像立体匹配计算技术的研究意义与背景,然后归纳总结了立体匹配计算技术的研究现状以及现存的关键问题,最后阐述了本文的主要贡献和章节安排。
2.介绍了双目立体匹配计算技术的基本知识。对双目立体视觉原理、双目立体视觉系统、立体匹配中常用的约束条件以及现有的典型立体匹配模型进行了详细论述与分析。
3.针对弱纹理、光照变化和遮挡等复杂场景下视差计算的准确性与鲁棒性问题,本文提出一种基于密集卷积神经网络的立体匹配方法。首先分析了密集卷积神经网络的优势,然后在初始匹配代价计算阶段,构造特征重用的密集全卷积模块,利用跳连接机制将浅层捕获到的特征图级联到后续层,对深层卷积层中丢失的局部特征信息进行补偿。最后,再结合后处理策略对网络预测的代价函数进一步修正与优化以获得最优视差,能够有效提高复杂场景视差计算的准确性和鲁棒性。
4.针对初始匹配代价网络模型的训练优化问题,本文提出一种具有一定松弛的混合交叉熵损失策略。将反向传播过程中的网络参数学习分为两个阶段,分别设计具有不同期望值的损失函数对网络参数进行迭代更新,以更好地区分所构造训练集中的匹配与非匹配样本,改善网络模型的表现性能。
5.分别采用Middlebury和KITTI数据库中所提供的标准测试图像序列对本文方法与现有的代表性的立体匹配方法进行综合实验对比与分析。实验结果表明,相比于其他对比方法,本文方法具有更高的视差估计精度,尤其在复杂场景下表现出更好的视差估计和鲁棒性,并能够有效地恢复视差图细节。
近年来,随着深度学习理论与技术的不断发展,基于深度卷积神经网络的立体匹配计算精度与鲁棒性得到显著提升。但是,当双目图像中包含弱纹理结构、剧烈光照变化和遮挡等复杂场景时,现有立体匹配算法的准确性与鲁棒性亟待进一步提高。针对以上问题,本文主要研究基于密集卷积神经网络的双目立体匹配计算方法,旨在解决弱纹理、光照变化以及遮挡等复杂场景下立体匹配计算的匹配歧义性和视差图细节损失问题。本文的主要研究内容如下:
1.首先介绍了双目图像立体匹配计算技术的研究意义与背景,然后归纳总结了立体匹配计算技术的研究现状以及现存的关键问题,最后阐述了本文的主要贡献和章节安排。
2.介绍了双目立体匹配计算技术的基本知识。对双目立体视觉原理、双目立体视觉系统、立体匹配中常用的约束条件以及现有的典型立体匹配模型进行了详细论述与分析。
3.针对弱纹理、光照变化和遮挡等复杂场景下视差计算的准确性与鲁棒性问题,本文提出一种基于密集卷积神经网络的立体匹配方法。首先分析了密集卷积神经网络的优势,然后在初始匹配代价计算阶段,构造特征重用的密集全卷积模块,利用跳连接机制将浅层捕获到的特征图级联到后续层,对深层卷积层中丢失的局部特征信息进行补偿。最后,再结合后处理策略对网络预测的代价函数进一步修正与优化以获得最优视差,能够有效提高复杂场景视差计算的准确性和鲁棒性。
4.针对初始匹配代价网络模型的训练优化问题,本文提出一种具有一定松弛的混合交叉熵损失策略。将反向传播过程中的网络参数学习分为两个阶段,分别设计具有不同期望值的损失函数对网络参数进行迭代更新,以更好地区分所构造训练集中的匹配与非匹配样本,改善网络模型的表现性能。
5.分别采用Middlebury和KITTI数据库中所提供的标准测试图像序列对本文方法与现有的代表性的立体匹配方法进行综合实验对比与分析。实验结果表明,相比于其他对比方法,本文方法具有更高的视差估计精度,尤其在复杂场景下表现出更好的视差估计和鲁棒性,并能够有效地恢复视差图细节。