基于卷积神经网络的光场显著性检测研究

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:yanzhijianer
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
显著性检测一直以来都是计算机视觉领域的关键问题之一,其在视觉跟踪、图像压缩和目标识别等方面有着非常重要的应用。基于传统RGB图像和RGB-D图像的显著性检测易受复杂背景、光照、遮挡等因素的影响,导致在复杂场景下的检测精度较低,鲁棒的显著性检测仍存在很大的挑战。随着光场成像技术的发展,人们开始从一个新的途径解决显著性检测问题。光场数据记录着空间光线的位置信息和方向信息,隐含着场景的几何结构,能为显著性检测提供可靠的背景、深度等先验信息。因此,利用光场数据进行显著性检测得到了国内外学者的广泛关注。本文针对在复杂场景下的显著性检测问题,利用光场数据中的多视角信息以及卷积神经网络强大的特征表达能力,深入研究基于光场数据的显著性检测算法,提高复杂场景的检测精度。主要研究内容如下:(1)介绍了显著性检测相关背景和研究现状,分析了本课题的研究意义,对光场基本理论、光场数据获取方式、图像表征和显著性检测问题概念进行深入探讨。(2)利用光场相机Lytro Illum采集光场数据,构建一个丰富且高质量显著性检测数据集。该数据集提供640幅室内、外的背景复杂、前景背景颜色相近、包含多种光源、多个显著目标等图像。该数据集的提出为光场显著性检测领域的深入研究提供一个更加有力的数据支持。(3)为了深入探索光场数据的空间特性和多视角特性对显著性检测的积极作用,本文提出了一种基于微透镜图像的显著性检测算法。为了能直接对一个空间像素位置的角度变化进行建模,本文设计了三种不同的视角变化网络模块,这些模块通过非重叠卷积捕获微透镜图像中的视点依赖关系。然后将利用视角变化网络模块得到的特征图输入改进后的Deep Lab-v2模型中预测显著图。实验表明,当视角变化与微透镜图像中视点变化一致时,视角变化网络模块能更好地学习到潜在的场景深度信息,提升显著性检测的准确性。与当前光场显著性检测的最优方法相比,该算法能够有效提高在复杂场景下的检测性能。(4)考虑到基于微透镜图像的显著性检测算法对场景颜色对比信息的学习能力不强,在前述研究基础上,本文进一步提出了基于双通道融合的光场显著性检测算法,建立以微透镜图像阵列及中央视角图像为输入的双流网络。为了更好地探索两个通道之间的相互关系,引入融合模块进行特征学习,完成显著性检测任务。实验验证了该融合网络利用中央视角图像通道的特征对微透镜图像通道特征进行微调,弥补了微透镜图像通道对场景颜色对比信息的学习能力,进而使得网络在处理复杂场景时,有着更强的鲁棒性。
其他文献
医用控温毯作为人体辅助控温的主要医疗设备,被广泛应用于各种疾病的临床治疗中。由于国内医用控温毯的研制起步较晚,其在控温精度、功能应用、操控界面、电磁兼容等方面,仍
随着国民生活水平的日益提高,前列腺疾病目前成为对男性群体健康的最大威胁之一。经直肠超声图像(TRUS)具有实时、廉价和无损的优点,在前列腺疾病的预防、诊断和治疗中被广泛
工业照明是影响工厂生产的质量和工人生产效率的重要因素,照明系统控制精度问题、照明系统功耗问题一直以来是工业照明领域需要突破的重难点。面对工厂复杂的生产环境,照明节
目的:本回顾性研究通过观测CBCT资料,评估上颌窦底外提升术后短期内骨移植体积的变化,以及对术前状态及术中并发症的影像分析。方法:本研究选取2016年4月至2018年8月期间,于浙江大学医学院附属口腔医院就诊并行延期上颌窦底外提升术,同时拥有术前、术后即时及术后6个月CBCT影像资料的7名患者进行回顾性研究,统计短期内骨移植体积的变化,垂直骨量及黏膜厚度的改变情况,并且观察上颌窦的解剖变异结构、并
随着多媒体技术和互联网技术的飞速发展,越来越多的多媒体资源在互联网上传播。如何确保传输信息的安全成为亟待解决的一个任务。针对这一问题,研究人员首先提出利用加密技术
新一代视频压缩标准HEVC相比其上一代标准H.264/AVC压缩率提高了一倍,但编码复杂度的大幅提高限制了其实用性。在网络视频应用中,同一视频往往需要编码为不同码率的码流来适
在今天的信息化时代,大众传媒得到了飞速发展,每一种传播媒介的产生都推动了体育事业的发展,体育的快速发展也丰富了传媒的内容。在我国,出台了一系列推动全民健身运动发展的
随着互联网视频业务的快速发展,网络传输带宽面临越来越大的压力,市场对于压缩效率更高的视频编码标准的需求也愈发迫切。HEVC和AVS+标准分别作为国际和国内新一代视频编码标
伽达默尔与相对主义的关系是一个非常重要的问题,而这个问题的核心就在于对其“第二等级的历史主义”的理解。很多学者批评伽达默尔走向了一种相对主义,但是他在“第二等级的历史主义”中却明确指出:历史性并不是真理的阻碍而是真理的条件。其实,后来的学者之所以不能够理解伽达默尔的这种“第二等级的历史主义”,主要是因为没能正确把握到“第一等级的历史主义”与“第二等级的历史主义”的等级差异,因而总是会悄悄地回到“第
对外汉语教材的本土化是指根据学习者所在地的社会文化、教育体制、学习者特点对教材内容进行调整的过程。印尼曾编写并出版过不少本土化汉语教材,但这些本土教材存在诸多问