基于RNN的图像条带噪声抑制方法与硬件加速技术研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:seacowp
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视觉是人类获取信息的重要来源。但是视觉图像在采集与传输过程中,由于外界干扰以及设备自身限制,不可避免地会受到噪声的污染,从而降低图像品质。在遥感图像与红外图像中,由探测器阵列响应的不一致性所致的条带噪声,严重影响了后续目标检测识别等视觉处理任务的精度。然而,当前基于传统信号处理理论的条带噪声抑制方法的去噪能力和场景适应性均不足,而基于深度学习的去噪方法又因为计算量大面临着难于硬件部署、实时性差的问题。鉴于此,本文进一步研究了基于神经网络的轻量化图像条带噪声抑制方法并设计了相应的硬件加速方案。本文分析了遥感图像与红外图像中条带噪声的产生机理与特性,建立了受噪声污染图像的降质模型。针对条带噪声的分布特性,提出了一种基于循环神经网络的条带噪声抑制网络模型DS-LSTMN。得益于循环神经网络发掘序列时序关联的能力,并通过向传统循环神经网络单元中引入卷积模块代替简单的全连接操作,DS-LSTMN模型能够利用图像中条带噪声的同向一致性与空间分布特征之间的互补特性,更为精准地提取噪声特征,实现对条带噪声的抑制。在合成噪声图像和真实受噪声污染图像上的实验结果表明,与现有算法相比,本文提出的去噪网络模型在更好地抑制条带噪声的同时保留了更多的图像细节,这也证实了循环神经网络通过发掘序列的时序关联信息以有效去除条带噪声的优良特性。为了解决深度学习算法计算量大,实际应用困难的问题。本文针对所提出的去噪网络模型,设计了硬件加速设计方案并于So C FPGA端以高层次综合的开发方式实际部署,拓宽其实际使用场景。对于DS-LSTMN模型中循环单元,设计无关卷积并行计算结构,并将门控操作引入卷积流水线后,构建门控卷积一体化的流水线,辅以采用乒乓传输机制的多级缓存结构,实现了快速并行计算,并通过复用循环单元中的硬件卷积模块实现噪声重建卷积层计算。此外,还对DS-LSTMN模型进行了混合精度量化调控,硬件加速系统内使用8位整型与16位半精度浮点数代替全精度浮点数进行计算与存储。基于合成噪声图像与实际受条带污染的遥感图像的实验结果表明,使用混合精度量化策略的硬件加速系统在保持了DS-LSTMN模型去噪效果的情况下,取得了更高的计算效率,在大小为256×256灰度图像上,能效比达到了Nvidia GTX1080Ti GPU的14.88倍,且单帧处理时间仅6.17 ms,满足实时处理的要求。
其他文献
学位
伴随雷达和电子对抗技术的革故鼎新,现代战场电磁环境日渐复杂。电磁信号在时域、频域和空域上参差错落、密集重叠、动态变化,严重影响了电子情报侦察系统的工作效能。借助计算机技术对电子情报侦察系统进行建模仿真,逼真复现系统搜索、截获、分选、识别电磁信号的过程,对研究电子情报侦察系统的作战性能具有重要的理论意义。本文首先分析讨论电子情报侦察系统的工作环境和工作原理,从系统的结构组成和仿真实现两个方面,设计了
低轨卫星网络具有覆盖范围广、传输时延低、可靠性高等优点,在军事应用、导航定位、远程医疗等领域发挥着十分重要的作用。近年来已成为各国通信领域研究的重点。由于低轨卫星网络部署成本较高,因此在卫星发射之前需要对整个网络的功能与性能进行大量严格的仿真与测试工作。因此,建立一个准确可靠、成本可控、易于部署的低轨卫星网络仿真系统具有非常重要的研究意义与价值。近年来,云计算与虚拟化技术发展迅速,为新一代网络仿真
激光雷达具有极高的角分辨率、距离分辨率、速度分辨率等特点,能获得目标的角度、距离、速度、反射强度等信息,不仅能够在大范围扫描时发现目标,还可以通过精细扫描获得完整的几何信息,同时具有抗干扰能力强、不受光照条件限制等优点,在无人驾驶、目标探测等领域广泛应用。但是传统激光雷达探测信息交互方向单一,无法适应大范围广域搜索和小范围精细识别等多种工作模式切换的需求,达到认知成像的目的。针对以上传统成像激光雷
合成孔径雷达(SAR)成像具有全天候、全天时、远距离和高分辨成像的特点,可以大大提高雷达的信息获取能力。以飞机为载体的机载SAR成像系统已在军事和民用领域被广泛应用。SAR成像处理数据量大,计算复杂,对处理系统性能要求高。且随着国产处理器的发展与国产化替代的需求,机载SAR成像算法在国产处理器实时处理的研究具有重大的实用意义。首先,本文论述机载SAR成像原理以及改进方法。首先概述机载SAR成像的几
在当今社会,随着科技的不断进步,机器视觉越来越多地代替人类进行视觉信息的获取,帮助人类处理复杂的现实生活环境。机器视觉通过图像传感器获取图像信息,将捕捉到的光学信息转换为电信号,电信号经过处理后用来表示每个像素点的灰度信息,后期通过灰度信息重构图像。传统的CMOS图像传感器基于帧和曝光时间,以固定频率输出图像信息,因而在机器视觉进行后端处理时具有数据量大、处理延时大、噪声大、动态范围低等缺点。为了
多输入多输出(Multiple Input Multiple Output,MIMO)雷达根据天线阵元间距的远近可以分为分布式MIMO雷达和集中式MIMO雷达。集中式MIMO雷达的特点是天线近距离放置,不同天线发射波形各异,具有波形分集能力,带来更多优化自由度。因此集中式MIMO雷达波形设计一直是雷达信号处理领域的研究热点。本文从集中式MIMO雷达发射波形设计的角度出发,研究了集中式MIMO雷达通
随着现代战争中武器研发速度越来越快、作战理念越来越多元化,雷达作为战场的眼睛需要不断创新发展以应对带来的新挑战。其中,在整个雷达家族发展进程中,被动分布式雷达因为在战场生存方面具备的天然优势以及多基站融合检测相比较于单雷达基站检测具有更高的时空覆盖范围、更好的抑制目标闪烁能力的特点,受到了大量学者的关注。同时,被动分布式雷达可以充分利用已有电磁资源来构成网络化、低成本的区域防空预警系统,而不占用珍
目标检测是计算机视觉领域的经典任务之一,在无人车驾驶、交通管控、农业、军事等方面都有很广阔的应用空间。目标检测算法可以分为基于手工设计特征的传统目标检测方法和基于深度学习自动提取特征的目标检测方法,目前后者又分为基于回归的单阶段算法和基于候选区域的两阶段算法。在遥感图像目标检测领域,主要面对的挑战包括背景信息杂乱、目标尺度差距大、小目标多、目标有形变等。因此,本文针对这些挑战进行了研究探索,主要研
随着社会信息化程度的不断加深,下一代移动通信系统对数据速率、容量、时延有着极高的要求,传统射频(Radio frequency,RF)通信早已面临着频谱资源极度稀缺的问题。而自由空间光(Free Space Optical,FSO)是一种以大气为传输介质,以近红外频段的光波为信息载体的无线视距(Line-OF-Sight,LOS)通信技术。与RF通信相比,FSO通信不仅具有丰富且免费的频谱资源,还