基于端到端卷积神经网络的双目立体匹配算法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:lshel
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
双目立体视觉是计算机视觉领域中的核心成分,在获取深度信息方面具有成本低、灵活性高和实现方便的优点,因此被广泛的应用在三维重建、虚拟现实、机器人视觉以及无人驾驶等领域。立体匹配在双目立体视觉中起着决定性的作用,立体匹配算法的目的是找到立体图像之间每个像素的对应关系来估计视差。目前,端到端卷积神经网络在立体匹配任务上取得了令人印象深刻的性能,但是仍然存在一些问题:在遮挡和无纹理区域匹配精度低以及匹配的效率低。因此本文对基于端到端卷积神经网络的立体匹配算法进行了进一步的研究,主要工作如下:(1)基于深度学习的端到端立体匹配网络往往在遮挡、弱纹理区域容易发生错误匹配的情况,不能够有效的利用上下文信息来推导线索。针对这一问题本文提出了一种基于全局上下文信息的双目立体匹配算法,在特征提取阶段利用空间金字塔模块融合不同感受野的特征信息,增强复杂区域的特征提取能力。采用基于级联和基于不同视差下内积混合构成匹配代价来描述特征间的相似度。在匹配代价优化阶段,设计了全局上下文模块和三维编解码网络相结合的模型,通过编解码网络连接多个尺度的局部上下文信息,采用全局上下文模块来获得取全局上下文信息。(2)双目立体匹配网络存在不能兼顾效率和精度的问题,基于三维卷积的立体匹配网络效率低而预测精度高,占用大量GPU内存计算时间长。针对这一问题本文提出了一种快速准确的双目立体匹配算法,该网络的立体匹配依据由粗到细的准则,仅仅在最小的分辨率生成完整视差图,然后在较大的分辨率进一步调整。该网络为了提高准确度使用边缘检测和语义分割任务来辅助监督,为了更好地将语义信息融合到立体匹配任务,设计了一个混合的匹配代价模型,该匹配代价由空间特征匹配代价、语义特征匹配代价以及边缘特征匹配代价采用注意力机制生成。为了验证提出的两个双目立体匹配算法的有效性,在Cityscapes、Secenflow和KITTI数据集上进行了实验,得到的实验结果说明基于全局上下文信息的双目立体匹配算法能改善视差图的精度,在KITTI 2015测试集上得到的三像素误差为2.14%,基于语义和边缘信息监督的快速双目立体匹配算法在KITTI 2015测试集上能在0.046s的时间内三像素误差值为2.80%。
其他文献
高速、高分辨率、多通道的采集系统对各领域的科研任务至关重要,被广泛应用在诸如地震检测、脉冲捕获、殉爆试验等场景中。鉴于高速高分辨率的多通道数据采集系统的重要性,本文着力于设计一款数据采集与存储模块,该模块具有8通道、12位分辨率和2.5GSPS采样率的主要性能指标。本文主要通过系统方案设计、硬件电路设计和现场可编程逻辑门阵列(FPGA)的逻辑设计三个方面来展现模块的设计内容。系统方案设计中,本文围
在雾、霾等恶劣天气下的成像过程中,相机传感器和视觉应用系统受到空气中悬浮大气粒子的干扰,造成拍摄的图像质量下降,产生模糊不清、颜色衰减、对比度下降、细节丢失等现象。这对智能交通、监控系统和目标识别等户外图像处理和计算机视觉应用带来了不便,如何增强雾天低质图像的清晰度与能见度,减弱这类恶劣天气对户外成像系统的不利影响,已经成为图像增强领域的研究热点。本文主要研究内容如下:(1)研究了雾天低质图像的退
目前室内机器人定位方法主要为轮式里程计或IMU的航迹推算、视觉定位和室内伪卫星定位。航迹推算在短时间、短距离内具有很好的定位精度,但会出现累计误差;室内伪卫星定位可以为机器人提供很好的定位效果,但成本过高;视觉定位是一种根据图像信息来估计机器人位姿的定位方法。在静态环境下,视觉定位展现出了高精度、低成本的特性。但在动态环境下,视觉定位的精度下降,甚至失效。目前出现了不同方法相结合的定位方案以提高室
舰船是海上贸易运输和作战装备的重要载体,当海上爆发战争时,极易成为军事火力重点打击目标。因此,航天遥感图像中的舰船检测成为远程遥感领域的研究热点。如何快速准确地获取复杂海洋环境下舰船目标的位置信息就显得尤为重要。天基红外遥感卫星对地红外探测器具备全天候工作,对云雾具有一定穿透性等优点。它能对比舰船自身的红外辐射或反射的太阳辐射与周围环境辐射的差异,来实现复杂海洋环境下的舰船检测。近年来,深度学习作
当光穿过非均匀的介质(例如烟尘,浓雾,生物组织和毛玻璃等)时会发生散射,从而导致光束的波阵面失真,继而在成像平面上形成散斑图案,使得遥感观测、公共安全、生物医学等领域中光成像的发展受到阻碍。因此,散射成像成为光学领域的研究热点之一。计算全息成像作为一种新的成像技术,可通过空间光调制器(spatial light modulator,SLM)加载图像的相位信息,对光束波前进行调制,使其适用于更广泛的
无线通信、雷达、电子战接收机等现代通信设备信号带宽的提高,使得其对数据采集系统性能的要求也不断提高。这些设备通常要求数据采集系统具有较高的实时采样能力,并且能多个通道同步采样。随之而来,数据采集系统的存储及传输需求也不断提升。为满足数据传输需求,测试仪器总线速率及性能也在不断提高。由此,本文设计了一种基于AXIe测试总线平台的双通道高速数据采集模块,主要研究内容如下:首先,分析并对比两种可实现6.
光频域反射技术(Optical Frequency Domain Reflectometry,OFDR)在现代军事、大型建筑、精密仪器制造等领域有重大的价值,是近年来研究的热门。本文首先建立了OFDR系统理论模型,在该理论模型基础上,搭建了分布式光纤声频振动实验系统。通过软件算法去除光源扫频非线性所带来的相位噪声,系统空间分辨率大大提高。利用互相关算法实现振动事件定位,进一步通过相位解调法恢复振动
输油气管道是油气资源运输的重要途径,其长期稳定运行保障了我国经济的高速发展。输油气站是输油气管道系统中的重要节点,是进行油气资源远距离输送的关键枢纽。控制系统是输油气站的大脑,监测和控制着站内多个工业生产设备。当控制系统发生故障时,会导致输油气站无法进行正常的生产作业,造成巨大经济损失。因此为保障输油气管道系统的长期稳定运行,提高控制系统维护和检修的效率,减少经济损失,需要对输油气站控制系统进行状
柔性触觉传感器被认为是赋予人造物体以人类触觉的一种方式,能够被广泛应用于人工假肢、人工智能、机器人、虚拟现实等领域。目前,关于柔性触觉传感器的研究大多集中在提高传感器的灵敏度和响应范围上,对于三维力触觉感知的相关研究很少,具有三维力触觉感知能力的传感器能够准确的感知空间中力的大小以及方向,这是机械手完成精确抓取、判断物体运动方向等操作的重要参考。传统的力矢量传感器多使用应变片,具有体积大、难以集成
视线跟踪技术是一种检测人眼视线方向或注视点的技术,广泛应用于教学质量评估系统、生产线工人注意力监测、疲劳驾驶、虚拟现实、广告分析等诸多场景。但由于当前视线跟踪技术通常采用基于RGBD图像或红外图像的视线跟踪算法,通常需依赖深度相机和红外相机等外部设备,导致应用过程中使用不便,成本高,且应用场景受限。论文在分析国内外视线跟踪相关算法的基础上,提出一种基于深度学习并使用单目RGB图像为输入的视线跟踪算