基于残差密集网络的红外与可见光图像融合算法研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:yang97yang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像融合旨在将同一场景下的同源或多源图像综合成为一幅对该场景描述更加全面的图像,图像融合技术已经广泛应用到数码摄影、医学诊断、视频监控等领域。近年来学者们在图像融合领域提出了众多的端到端的算法,这些算法能够较好地恢复融合图像中的红外目标信息及可见光细节信息,但仍存在以下不足:可见光细节恢复不明显、层次特征提取不充分、融合算法未关注图像显著区域等。针对以上问题,本文采用残差密集网络作为骨干网络,并从图像融合的意义出发,在网络结构和损失函数等方面进行了深入地探索,来获得对场景表达更为完整且具有更多可见光信息的融合图像,本文的主要工作与创新如下:(1)受残差密集网络的启发,本文提出了基于红外强度掩膜的红外与可见光图像融合算法,该算法解决了生成对抗网络算法中可见光细节恢复不明显的问题。在算法设计上,本文通过残差密集块之间的信息流动最大程度地保留每层的特征信息,通过掩膜损失使融合图像在可见光图像较弱的红外区域恢复出更详细的纹理特征,生成的融合图像可以更好地学习可见光图像中的细节特征信息。实验结果表明,该算法生成的融合图像在可见光梯度特性上提升显著,主观上融合图像对比其他算法具有更多的可见光纹理细节信息,客观指标上也取得了一定的进步。(2)为了进一步提取可见光细节纹理特征,本文提出了基于ResNeXt与感知损失的红外与可见光图像融合算法,来解决融合图像细节纹理信息恢复不足的问题。在网络结构上,本文改进了工作一的残差密集块,引入了相对平均判别器代替标准判别器,在损失函数上,为了进一步增强网络对可见光细节纹理特征的学习能力,本文成功地将感知损失应用到融合领域。TNO数据集的对比实验及LLVIP数据集的泛化实验结果表明,该算法有较好的可见光细节纹理特征提取能力,客观评价指标对比工作一均有不同程度的增强。(3)由于现有单判别器训练不能满足两幅图像的融合判别需要,为精细化地提取融合特征,本文提出了基于注意力机制与双判别器的红外与可见光图像融合算法。该算法引入了正则化损失,能够在去除噪声的同时保留边缘特征。在结构上,该算法在残差密集块中添加了有效的通道与空间注意力模块,而且使用双判别器对网络进行迭代训练来保障融合图像中源图像信息恢复的完整性。大量对比实验验证,融合图像在主观视觉上比其他算法保留有更加完整的边缘特征信息,在客观边缘指标上也表现最优。
其他文献
建筑产业化是现阶段建筑行业转型升级的主要发展趋势,而装配式住宅是实现产业化的重要手段。但是传统的从整体到拆分的设计方法无法满足目前的生产和建造模式,尤其是在如今信息技术不断发展的时代,对于设计思维和方法尚待做出某种改变。本研究主要从BIM技术应用于装配式住宅立面外墙设计的方法出发,旨在推动BIM技术与装配式住宅设计融合发展,为搭建标准化构件库的体系添砖加瓦,进而探索解决预制构件标准化与装配式住宅立
学位
近几年来,有关“行政认定”的字眼频繁出现在一些案件的刑事判决书中,内幕交易刑事案件便是其中较为典型的一类。行政认定的出现确实为内幕交易定罪量刑提供了专业性的依据,但也因司法机关对其过度依赖而引起了辩方的质疑,同时在刑事法学界也引发了一些有关行政认定的争议。本文运用案例统计和实证分析的方法,首先,通过对检索到的含有行政认定的55份判决书进行分析,发现证监会的行政认定在证据能力、证明力、审查标准、行刑
学位
爱是世间永恒的主题,有了爱才有了一切。然而,爱是有条件的,那就是你必须学会付出你的爱。正像下面两位同学所说。你要得到别人的爱,就必须要知道如何爱别人!
期刊
为响应轨道通信网络智能化演进需求,发展支持大容量、高速率与低时延等丰富业务应用势在必行。然而,特殊的链状覆盖方式与较高的移动速度导致用户在行驶过程中面临着复杂的高动态网络拓扑及资源管理问题。受既有轨旁网络架构及频段部署的限制,轨道通信网络愈发难以承载如海量连接下的铁路物联网、密集计算任务下的高级别自动驾驶、超低时延端到端传输与高速媒体传输等业务。为应对高动态网络环境资源管理难题,进一步提升业务承载
学位
随着城市轨道交通的运营里程和列车运行密度不断增加,系统整体能耗也随之攀升。全球范围内节能减排的呼声和国家“双碳”政策都对城市轨道交通系统节能问题的研究提出了要求。为实现降低城市轨道交通系统总能耗的目标,本研究考虑在城市轨道交通线路装配轨旁储能装置以增大再生制动能的回收利用率,并建立以牵引变电所总输出能耗最小为目标的储能装置容量配置优化模型;然后基于某线路实际数据,从规划设计的角度出发获得轨旁储能装
学位
随着智能移动终端、便携式传感设备的普及和实时定位等技术的发展,时空数据变得更易于采集、获取,并展现出极大的应用价值。基于群智感知的各类应用的蓬勃发展,使得围绕空间众包的研究工作成为热点。任务分配作为空间众包领域的核心研究问题之一受到了广泛关注,但目前的研究未能关注到众包环境中的实体间的相互影响和其在时空维度上的复杂相关性,同时忽略了动态变化的空间环境对于工人对任务的偏好差异的影响。为了解决以上问题
学位
网络技术的发展与互联网规模的扩大推动了网络通信业务的不断发展,尤其推动了实时流业务的发展。实时流应用资源密集与延迟敏感的特性对通信网络中的数据传输提出了更高的服务质量(Quality of Service,QoS)要求。现有IP网络中的多播路由方法一般基于单棵多播树实现,无法在提供QoS保证的同时满足高应用吞吐量和低延迟恢复的要求。因此,“如何提高大规模实时流的传输质量与可靠性”成为研究的热点。向
学位
随着多媒体技术的蓬勃发展,图像、视频数据占用了越来越多的网络带宽,对多媒体数据高效压缩的技术需求越发迫切。现有的大多数图像、视频压缩方法主要服务于人眼视觉系统,以高清晰、高保真为目标。然而近年来,越来越多的图像、视频数据主要应用于监控网络中,通过监控系统的自动分析实现异常检测和自动报警。由此可见,越来越多的图像、视频数据开始主要为机器视觉任务服务,这给图像、视频的压缩编码提出了新的挑战。本文重点研
学位
南亚是一个文明地区,拥有各种种族和亚族群,它们各自在历史殖民统治,文化和宗教上也有所不同,这样的情况带来了严重的区域性民族和领土冲突。在过去的六十年中,还没有其它两个国家像印度和巴基斯坦那样有着影响到全球性安全与冲突的双边关系。本研究着眼于中巴战略同盟的历史背景及其对南亚地区印巴关系的影响。本研究使用了二手资料,例如出版的书籍、文章等。通过随机抽取82个巴基斯坦人进行有关印巴关系的感知调查,收集了
学位
本文将19例精神病糖尿病患者与29例非精神病糖尿病患者作一对比分析,并对精神病人糖尿病患病率、诱因、特殊性及其防治等进行探讨。
期刊