基于多尺度信息与视差注意力的红外热像立体匹配方法研究

来源 :安徽大学 | 被引量 : 0次 | 上传用户:zerotx01
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术的快速迭代,人们的日常生活也发生了革命性的变化,计算机视觉技术带给人们巨大的便利。立体匹配是一个基本的三维视觉问题,只需要两台相机即可完成对场景深度的估计,因此可直接应用于机器人、增强现实、摄影测量和视频理解等领域中。同时,热成像设备逐渐地小型化、廉价化、清晰化,相比于常见的可见光成像设备容易受到时间、环境等问题的干扰,热成像设备对光线不敏感的特性愈发受到学者们的青睐。红外热像立体匹配是能够不受雨雪天气、昼夜成像差异的三维深度感知技术,拥有广泛的应用前景。目前立体匹配方法大都聚焦在可见光场景中,本文针对红外热像场景中立体匹配方法展开研究,并取得了如下成果:给出基于多尺度信息的鲁棒红外热像立体匹配方法,解决红外热像存在可用信息少,存在大面积弱纹理、无纹理的问题。对不同尺度的特征构造金字塔编码器模块、解码器模块,并多次利用金字塔池化获取上下文信息,实现在不同视差范围的立体匹配。同时,利用图像特征信息作为先验知识,约束视差生成。在热红外数据集上进行的大量实验表明,与其他先进结果相比,所提出的方法取得了良好的结果。给出多尺度特征自适应融合模型,通过设置像素级权重参数,实现像素级融合,为深层特征补充场景轮廓信息,为浅层特征补充语义信息,解决多尺度信息利用不充分问题。同时,考虑到立体匹配问题只关注同一极线上的位置关系,在不同视图间使用视差注意力机制完成不同视角的信息交互。在CATS数据集上的实验结果表明,视差注意力机制能够有效实现不同视图之间的信息交流,建模长距离视差关系,改进立体匹配结果。
其他文献
稀疏多目标优化问题(Sparse Multi-Objective Optimization Problems)由于其在机器学习、网络科学及其他许多领域都具有广泛的应用,近年来愈加受到进化计算领域的关注和研究。但现有多目标进化算法在稀疏多目标优化问题上的性能仍然有待进一步研究,目前尚没有专门针对稀疏多目标优化问题设计的性能评价指标。现有的性能评价指标仅关注算法在目标空间的收敛性和多样性而忽视了决策空
学位
深度神经网络广泛应用于许多领域,但仍然面临对抗攻击带来的风险。对抗攻击是对输入样本添加不易察觉的扰动来产生对抗样本,并欺骗神经网络将样本识别为错误的类别。为了提高深度神经网络对于对抗攻击的鲁棒性,国内外的研究者们分别从攻击和防御的角度出发进行了各种研究。在对抗攻击方面,包括密集对抗攻击和稀疏对抗攻击;在对抗防御方面,包括对抗训练和其他数据增强方法等。现有的攻击算法大多为密集对抗攻击或扰动明显的稀疏
学位
随着传感器的普及率不断提升,摄像机被布置在城市的每一个角落。摄像机网络常被用于区域监控,灾难响应,环境监控等等。在多个相机复杂场景下,可检测的视野范围更广阔,但是如何更好地利用多个相机的数据,是一个重要的问题。同时,仅通过人工检索的方式已经不能满足人们的需求。因此,需要一个能在多个相机环境下进行有效目标跟踪的算法来代替人工检索。多个相机间的目标跟踪,即利用多个摄像机协同完成对目标的跟踪过程,是目标
学位
图像分类、目标检测和语义分割是计算机视觉领域的三个基本任务。目标检测要求同时确定图片中目标的类别和位置。遥感图片中的目标具有任意的旋转方向,且目标尺寸差异较大,因此检测难度更大。本文主要研究基于单阶段检测框架与卷积区域重配准的遥感图像中的旋转物体检测算法,主要贡献如下:(1)基于卷积区域重配准的遥感单阶段目标检测研究本文提出一种由粗糙到精细的单阶段目标检测器,主要包括一个增强的特征金字塔网络、多尺
学位
数字媒体技术的日益普及,使数字信息的传输和共享更加便捷。但信息传输中存在如信息泄露、信息遭篡改等信任问题,严重威胁信息安全。因此,作为一门能够在密文信号中嵌入识别信息、无误差地提取信息并无损恢复原始信号的关键技术,密文图像可逆信息隐藏(Reversible Data Hiding in Encrypted Images,RDHEI)技术逐渐成为信息安全与多媒体处理领域的交叉研究热点。本文探究现存R
学位
蛋白质和RNA分子的相互作用在许多细胞过程中起着重要作用,例如基因表达,转录和翻译。它们之间的相互作用需要先确定哪些蛋白质可以与RNA结合,即确定RNA结合蛋白;其次,该RNA结合蛋白的特定残基将与RNA的特定核苷酸相结合以执行其细胞功能,如果结合错误或失败,那么可能会导致生物细胞功能紊乱,进而引起各种生物遗传疾病。对于RNA-蛋白质相互作用的研究,高通量技术的全基因组预测方法虽然准确性非常高,但
学位
专利数据是人们在生产和科研活动中发明创造的技术信息的集合,可以反映各技术领域中的最新技术动向和发展趋势,是促进自主创新和提高国家竞争能力的战略性信息资源。专利数据不仅包含技术描述文本,还包含发明人、申请人、专利引用及层次标签等信息,丰富的数据种类体现专利数据的异质特性。大多专利分析方法面临大数据学习问题,需要利用表示学习方法,实现对信息的压缩和融合。对专利数据进行表示学习,旨在研究专利文本及其多种
学位
图像信号处理器(ISP)是相机中不可缺少的模组,它负责将来自相机传感器的原始数据转换为具有美感的图像。其中,ISP中的去马赛克算法旨在从单通道原始数据,即彩色滤光片阵列(CFA),中恢复出三通道全分辨率RGB图像。另外,在现实场景中,特别是在夜间环境中,CFA通常会被复杂的噪声所污染。因此,在去马赛克之前,通常需要对CFA进行去噪处理。去噪和去马赛克这两个模块在摄像机ISP中起着至关重要的作用,因
学位
在计算机视觉和模式识别等领域中,图匹配无论是在理论研究还是实际应用方面都是重要的研究课题。图匹配问题旨在建立两个或多个图结构之间的节点对应关系。利用图匹配技术可以获得图数据之间的匹配关系,因此图匹配被广泛应用于图像配准、目标检测、目标跟踪,三维重建、行人重新识别等研究领域中。近年来,随着深度学习的快速发展,研究人员将深度学习与传统的图匹配问题相结合,提出了深度图匹配模型,从而可以获得更高的匹配精度
学位
深度学习技术已经被广泛应用于图像处理和语音识别等领域,主要原因是该技术通过使用深层次的非线性结构能够学习相关数据特征,由此能得到数据深层次特征之间的联系。目前,国内外相关学者和研究人员已经将深度学习技术应用于文本处理等相关问题中,解决了传统机器学习算法存在的无法处理大量复杂数据的问题。但是,现有的字符级文本分类方法在提取关键信息能力方面还存在不足,例如下采样丢失关键信息以及数据稀疏等问题,导致实际
学位