论文部分内容阅读
显著性检测一直以来都是计算机视觉领域的关键问题之一,其在视觉跟踪、图像压缩和目标识别等方面有着非常重要的应用。基于传统RGB图像和RGB-D图像的显著性检测易受复杂背景、光照、遮挡等因素的影响,导致在复杂场景下的检测精度较低,鲁棒的显著性检测仍存在很大的挑战。随着光场成像技术的发展,人们开始从一个新的途径解决显著性检测问题。光场数据记录着空间光线的位置信息和方向信息,隐含着场景的几何结构,能为显著性检测提供可靠的背景、深度等先验信息。因此,利用光场数据进行显著性检测得到了国内外学者的广泛关注。本文针对在复杂场景下的显著性检测问题,利用光场数据中的多视角信息以及卷积神经网络强大的特征表达能力,深入研究基于光场数据的显著性检测算法,提高复杂场景的检测精度。主要研究内容如下:(1)介绍了显著性检测相关背景和研究现状,分析了本课题的研究意义,对光场基本理论、光场数据获取方式、图像表征和显著性检测问题概念进行深入探讨。(2)利用光场相机Lytro Illum采集光场数据,构建一个丰富且高质量显著性检测数据集。该数据集提供640幅室内、外的背景复杂、前景背景颜色相近、包含多种光源、多个显著目标等图像。该数据集的提出为光场显著性检测领域的深入研究提供一个更加有力的数据支持。(3)为了深入探索光场数据的空间特性和多视角特性对显著性检测的积极作用,本文提出了一种基于微透镜图像的显著性检测算法。为了能直接对一个空间像素位置的角度变化进行建模,本文设计了三种不同的视角变化网络模块,这些模块通过非重叠卷积捕获微透镜图像中的视点依赖关系。然后将利用视角变化网络模块得到的特征图输入改进后的Deep Lab-v2模型中预测显著图。实验表明,当视角变化与微透镜图像中视点变化一致时,视角变化网络模块能更好地学习到潜在的场景深度信息,提升显著性检测的准确性。与当前光场显著性检测的最优方法相比,该算法能够有效提高在复杂场景下的检测性能。(4)考虑到基于微透镜图像的显著性检测算法对场景颜色对比信息的学习能力不强,在前述研究基础上,本文进一步提出了基于双通道融合的光场显著性检测算法,建立以微透镜图像阵列及中央视角图像为输入的双流网络。为了更好地探索两个通道之间的相互关系,引入融合模块进行特征学习,完成显著性检测任务。实验验证了该融合网络利用中央视角图像通道的特征对微透镜图像通道特征进行微调,弥补了微透镜图像通道对场景颜色对比信息的学习能力,进而使得网络在处理复杂场景时,有着更强的鲁棒性。