基于多尺度统计建模和深度学习的红外与可见光图像融合方法研究

来源 :山东建筑大学 | 被引量 : 0次 | 上传用户:gengkc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像融合是指将两幅及以上的源图像通过一定的算法融合成一幅目标图像。获得融合图像的主要目的是留存源图像的有用信息,提高图像的可视度。由于融合后的图像具有高质量性,且观察清晰度更高,因此更方便人们对图像信息的后续研究。可见光和红外图像融合是图像融合相关研究的一个重要组成部分,很大程度上满足了众多军用和民用的需求。此外,红外与可见光图像融合技术具有可移植性,可以延展至其它类型的图像融合领域。有助于进一步完善图像融合理论体系。红外与可见光图像融合的研究方法通常包括基于空域、变换域和深度学习的方法。其中,基于多尺度变换的融合方法在红外与可见光图像融合领域的应用十分广泛,它包括小波变换,Contourlet变换和非下采样轮廓波变换(NSCT)等。近几年来,基于深度学习的红外与可见光图像融合研究的发展十分迅速。常用的深度学习模型包括生成对抗网络(GAN)、卷积神经网络(CNN)和脉冲耦合神经网络(PCNN)等。目前该领域的研究已成为国内外关注的焦点,其研究成果能够促进该领域在实际生活中的广泛应用和大幅度发展。本文首先详细地介绍了图像融合的国内外研究现状和发展动态,综述了一些经典的图像融合方法。然后,介绍了多尺度变换理论和深度学习技术。最后,归纳了图像融合的质量评价标准指标。然后,对可见光与红外图像在NSCT域的统计建模新融合方法做了介绍。该方法首先使用NSCT变换对源图像进行分解,然后分别采用PCA方法和GGD建模方法对低频子带和高频子带进行融合。最后,使用逆NSCT变换的方法对各融合子带变换,并得到融合图像。采用主观与客观相结合的评价机制,对融合结果进行评价,同时与NSCT域的三种融合方法进行综合比较。实验结果表明,该方法具有更好的综合性能。其次,介绍了一种结合卷积稀疏表示(CSR)和NSCT的红外与可见光图像融合方法。该方法首先使用NSCT变换对输入的源图像进行分解得到高频和低频子带。然后,将高频子带使用导向滤波进行增强,并将增强后的高频子带进行选择最大值策略融合,将低频子带采用CSR和选择最大值策略得到融合稀疏系数图,结合学习字典卷积重构低频子带系数。最后,采用逆NSCT变换对各融合子带变换,并得到融合图像。经与其它最新方法对比可知,使用该方法得到的融合图像在主观和客观上均具有一定优势。最后,介绍了一种新的基于生成对抗网络的红外与可见光图像融合方法。首先,建立一个生成器和两个判别器之间的对抗性博弈。生成器的目的是生成一个真实的融合图像,并用一个专门设计的、反映内容损失的生成器来欺骗判别器。而两个判别器的目的是为了区分融合图像和两个源图像之间的结构差异。训练时,采用MS_SSIM充当内容损失函数。MS_SSIM对不同分辨率的图像融合都能保持性能稳定,且MS_SSIM能够更好地保留图像的细节信息和轮廓信息。通过对抗性学习,可以使融合图像获得更多的细节信息。本文采用TNO数据集训练,实验结果表明,与现有的典型方法相比,由本文方法所得到的主观融合图像保留了源图像更多的细节信息、存在的伪影更少,并在客观评价指标方面也具有较好的融合性能。
其他文献
结合陕西省印台区的地理位置、自然环境,介绍了人工造林的技术措施。
目的 探索氯吡格雷抵抗对椎动脉狭窄支架术后再狭窄的影响。方法 回顾性分析2014年1月至2020年12月支架置入术治疗的167例椎动脉V1段狭窄的临床资料。术后3 d血栓弹力图检测MA-ADP≥47 mm为氯吡格雷抵抗。术后支架内再狭窄定义术后1年CTA示椎动脉再狭窄率≥50%。结果 167例中,氯吡格雷抵抗75例。术后1周内无症状性卒中及死亡病例。术后随访1年,椎动脉发生再狭窄51例(30.5%
为了进一步提高建筑消防安全性和公众用电安全性,开发了无卤低烟阻燃硅烷交联聚烯烃电线产品。从产品设计要求、结构设计、材料选择、关键工艺技术及性能检测等方面详细阐述了该电线产品的研制过程。相对于辐照交联工艺、紫外光交联工艺,生产灵活、综合成本低的硅烷交联工艺更适用于无卤低烟阻燃交联聚烯烃电线。针对兼具可硅烷交联和无卤低烟阻燃两种特性的无卤低烟阻燃硅烷交联聚烯烃绝缘材料的挤出质量较难控制,通过材料配方的
纳米材料与技术已经广泛用于寄生虫病的防治中.目前,包虫病的诊断主要采用影像学技术和免疫学方法,影像学技术价格相对较高,且灵敏度有限,对于小包囊无法诊断,免疫学方法需要一定的专业知识;用于包虫病治疗的药物存在水溶性较低的问题,导致药效不佳;用于终末宿主犬的免疫疫苗还在研制当中.因此,寻求高效、迅速和经济的防治手段是亟待解决的问题.纳米材料具有生物活性高、比表面积大等优点,在纳米探针、纳米生物传感器等
多聚焦图像融合作为图像融合领域中一个重要的研究方向,能够克服光学镜头成像原理的局限,使整个场景中不同距离的物体都在一幅图像中清晰地呈现出来,有利于目标识别,图像分割等对图像进一步处理的任务。目前,多聚焦图像融合在医学,军事,计算机视觉等领域都有着广阔的应用场景。本文针对多聚焦图像融合采用基于回归的策略对深度网络学习算法进行设计,主要研究内容如下:(1)其他采用全卷积网络的方式通常网络结构较为简单,
现如今军事、工业、安防、医疗等诸多领域都离不开红外成像技术,因此红外成像系统也成为了当前国内外目标检测、识别和跟踪领域的研究热点,尤其在医疗领域中,通常采用层析成像技术来确定病体的大小和具体位置等病理特征。但由于受到设备的限制及现有成像技术的不够成熟等问题,现阶段仍无法直接得到高分辨率的图像。针对以上医疗领域的迫切需求,为提高图像分辨率从而提高疾病诊断的准确率,本文对分布孔径成像系统进行研究,并通
口腔种植学作为一门新兴学科,发展迅速,已经成为牙齿缺失的首选治疗方案。人工智能,作为人类智慧的扩展和延伸,其相关的理论和技术在不断成熟,应用领域也在日益扩大。目前,随着人工智能与口腔医学领域的结合不断深入,它在口腔种植学中的应用也成为未来口腔种植学的重要发展方向之一。人工智能在口腔种植学中的应用研究主要体现在术前术后各种相关影像资料的识别分析、术中辅助手术外科机器人的使用、术后各类修复体的设计制作
<正>被誉为"中国古代十大音乐家"之一的李龟年,不仅是一位优秀的作曲家、演奏家,更是一位空前绝后的歌唱家。他还被后人称为我国的古代歌圣、乐圣。自从孔夫子被尊为中国文化的圣人之后,人们沿袭了这一习惯,把各个专业领域内标杆式人物,也都尊称为"某圣",这等于设立了各行各业的"单项冠军"。比如:酒圣是杜康,诗圣是杜甫,医圣是张仲景,书圣是王羲之,画圣是吴道子,茶圣是陆羽,武圣是关羽,而乐圣(歌圣)就是李龟
期刊
为适应低渗透油藏提高采收率的需求,以双子表面活性剂双烷基酚酮聚氧乙烯醚为主要原料制备了一种新型纳米乳液作为驱油剂。室内评价了其界面性能、润湿性能、耐温抗盐性能等,并通过核磁共振、相渗实验及自发渗吸实验考察了该纳米乳液驱油剂的驱油效果,同时与常规驱油剂磺酸盐表面活性剂进行了对比。结果表明,该纳米驱油剂乳液的平均粒径为60 nm。随纳米驱油剂加量增加,溶液表面张力和油水界面张力逐渐下降。驱油剂加量为0
红外与可见光图像的融合研究是一类应用相对广泛且比较典型的信息融合技术。由于人眼所获取的视觉图像主要来自可见光波段,因此利用可见光探测器获取的图像信息是最贴近人类日常生活应用的,也是人类视觉最为敏感的。此外,红外探测器成像具有很强的烟雾穿透能力和抗干扰能力,能够弥补在夜视或低能见度条件下可见光成像系统的不足。因此,红外与可见光图像之间具有良好的互补特性,若将这两种光谱各自的优势有效地结合,不仅可以提