【摘 要】
:
随着传感器技术的飞速发展,人们获得信息的通道越来越多。不同的传感器能够反映场景中不同方面的信息,可以帮助人们更加全面地了解物体的本质。虽然不同传感器图像之间存在着互补信息,但图像和图像之间不可避免的存在冗余信息。红外传感器捕捉场景中的热辐射信息,因此红外图像具有较高的对比度,且能够将显著目标与背景分离。可见光传感器捕捉场景中的光反射信息,因此可见光图像具有较丰富的纹理信息。红外和可见光图像融合旨在
论文部分内容阅读
随着传感器技术的飞速发展,人们获得信息的通道越来越多。不同的传感器能够反映场景中不同方面的信息,可以帮助人们更加全面地了解物体的本质。虽然不同传感器图像之间存在着互补信息,但图像和图像之间不可避免的存在冗余信息。红外传感器捕捉场景中的热辐射信息,因此红外图像具有较高的对比度,且能够将显著目标与背景分离。可见光传感器捕捉场景中的光反射信息,因此可见光图像具有较丰富的纹理信息。红外和可见光图像融合旨在将两种模态的图像信息充分融合,得到一幅单一的图像,实现将冗余信息去除、互补信息保留的目的。传统的图像融合算法普遍将图像分解为高频信息和低频信息,高频信息反映图像中的细节、纹理和边缘,低频信息主要反映场景中的像素强度分布。这种分解方法没有考虑到边缘信息的整体性。而深度学习的方法要么没有考虑到不同模态图像之间的特征差异,要么没有考虑到不同特征信息之间的信息交互,导致了融合图像中存在纹理信息丢失、显著目标对比度低等问题。因此,本文针对于传统和深度方法的缺陷,提出了两个全新的红外和可见光图像融合方案,论文的主要创新工作如下:1)针对传统算法中将图像简单分解为高低频两部分导致融合图像细节丢失等问题,提出了一种基于改进的边窗滤波(MSWF)和强度转换函数(ITF)的融合方案。首先,在边窗滤波的基础上添加了四个新的滤波核构建MSWF以提升其保边能力,并使用MSWF将图像分解为基础层和细节层。由于MSWF的保边效果,边缘信息被保留在了基础层。然后,使用多尺度多方向分解工具非下采样剪切波变换(NSST)提取基础层的高低频。因此,经过变换边缘信息被分解到高频层中。随后,我们提出了一种S型的ITF用于增强红外图像中的显著性信息并抑制红外图像中非显著性信息。在融合过程中,考虑各分解分量的特点,设计了不同的融合规则,得到融合的细节层和融合的低高频层。最后,通过逆NSST以及逆MSWF得到最终融合图像。在公共数据集TNO和OSU中证明了所提出方法的有效性。2)目前大多深度学习算法直接融合两幅模态图像的特征,没有充分考虑它们的具体属性,导致融合图像更倾向于包含某一模态的特征。因此本文提出了一种用于红外和可见光图像融合的两阶段特征传递与补偿融合网络(FTSFN)。在第一阶段,我们提出了一个特征迁移网络(FTN)通过将一个模态的特征迁移到另一个模态来减少这两个模态之间的领域差距。针对设计的FTN和输入源图像的特点,构建了两个网络FTN_IR和FTN_VIS以获得增强的红外图像和可见光图像的特征。第二阶段,通过定义两个权值共享网络分支,构建了特征补充融合网络(FSFN)来实现增强特征的融合。在FSFN中,设计了两个特征补充模块,基于强度的特征补充模块(IFSM)和基于梯度的特征补充模块(GFSM),用来有效地相互补充两种增强特征的强度和纹理信息。此外,为了更好地指导FTN和FTSFN的训练,我们根据源图像的领域特征定义了不同的损失函数。在广泛应用的融合数据集TNO和INO上进行的大量实验,实验结果证明了所提出的FTSFN的有效性和优越性。
其他文献
心律失常所导致的高致死率和高致残率并发症给家庭和社会带来了沉重的负担。如何有效预防和诊断心律失常已成为当前亟待解决的问题。现有的诸多方法中,对人体心电图(Electrocardiogram,ECG)进行实时动态自动监测是一种最为有效预防和诊断心律失常的手段。在进行ECG信号自动监测时,心律失常识别准确度是最为重要的问题之一,而ECG信号特征提取是提高其识别准确度的关键步骤。然而,现有的ECG信号特
随着数字媒体的发展和信息传播方式的多元化,图像逐渐成为了人们接收信息的重要媒介之一。人们在生活工作中会接触大量的图像数据,但往往只关心其中的少量信息。因此,从图像中高效快速地提取吸引人类注意力的信息是极其重要且有意义的。显著目标检测(Salient Object Detection,SOD)研究旨在从图像中快速定位和提取最吸引人类注意力的目标和区域,以帮助人们快速获取有用信息,是计算机视觉中一个重
随着互联网技术的发展和普及,经济一体化浪潮的到来,电商产业获得了快速发展。同时随着网上购物逐渐进入了人们的生活中,与之密切相关的物流业务也获得了高速发展的机遇。虽然快速便捷的快递运输提高了人们的生活效率,但也带来了一些隐患,其中用户隐私泄露问题最为引人注目。目前快递运输是通过包含用户明文信息的快递单来实现的,由于贴在包裹上的快递单暴露在外,使得不法分子很容易直接或间接地得到用户信息,从而造成用户隐
图像描述任务旨在生成给定图像的语言描述。该任务非常具有挑战性,因为它需要深入了解视觉和文本信息之间的关系。近年来,随着计算机视觉和自然语言处理技术的发展,图像描述任务取得了新的进展。当前,软注意力机制被广泛应用到图像描述任务中,它不仅提升了图像描述的性能,还为模型的定性分析提供视觉解释。软注意力机制根据上一时刻的单词,生成不同的权重并对图像特征进行加权融合,得到视觉注意力特征,并以此生成当前时刻的
随着计算机技术和互联网技术的发展,多媒体信息的网络传输成为信息交换的主流方式,图像信息安全的关注度已经超越文本信息安全,成为信息安全领域研究的热点课题。文本信息安全已经形成了标准的密码算法,如国标SM4和美标AES等。但是,与文本信息相比,一幅图像往往具有巨大的数据量和极高的冗余度,这使得标准的文本加密算法不能直接应用于加密数字图像。近年来,由于混沌理论和DNA计算的发展,图像加密技术的研究取得了
红外与可见光图像融合是将由不同传感器获得的来自同一场景的两张图像结合起来,生成一张包含两张源图像互补信息的图像。可见光传感器通过捕获反射光获得包含丰富背景信息的可见光图像,但是却很容易受到环境因素的影响。红外传感器能够克服这些因素的影响,它通过捕获来自目标的热辐射获得具有清晰轮廓但背景模糊的红外图像。因此,将红外图像中的热辐射目标信息与可见光图像的背景信息融合到一张图像,不仅更利于人眼的视觉感知,
近年来,虽然我国对于证券市场的监管制度愈发完善,但是上市公司的财务欺诈行为并没有随着制度的完善而消失,各种财务欺诈案层出不穷。该行为不仅会造成报表使用者的利益损失,还会冲击整个市场的资本环境。在面对财务欺诈这一棘手的问题时,如何构建出准确高效的财务欺诈识别模型,成为了财务报表使用者以及市场监管者最关心的问题之一。现有研究表明,基于财务指标和财务文本能有效地识别出存在财务欺诈行为的样本。本文以上市公
单一的传感器只能获得单模态的场景信息,存在一定的局限性,而随着技术的不断发展,传感器的种类越来越多,人们可以获得同一场景多个传感器拍摄的图像。图像融合技术对多传感器拍摄的同一场景图像进行多方位、多角度融合,以减少冗余信息并获得良好的视觉效果和丰富的细节。可见光图像包含了场景的背景信息以及纹理信息,但在某些特定情况下,如在弱光、雾等环境条件下,目标很难在可见光图像中观测到。红外图像则反映了目标与背景
科技飞速发展的今天,计算机技术以迅猛的速度进入各行各业,物联网技术飞速发展,摄像机等监控设备的联网被广泛应用,但仅靠设备捕捉到的画面难以满足日益复杂的需求。当前,仍有许多城市出现雾霾的天气状况,此时摄像头拍摄到的画面总是朦胧不清,这给后续的许多任务,例如车牌识别、行人面部识别、自动驾驶路况判断等带来了不小的挑战。在这种情况下就需要使用图像处理技术对画面进行处理,去除图像上的雾层,挖掘出被雾霾掩藏的
软件测试是软件开发中非常重要的一项任务,能帮助开发者全面、快速地找到软件漏洞,从而有效提升软件质量和用户体验。设计和选择合理的测试用例,可提升软件的测试效率,减少开发人员的工作量。随着软件功能的不断完善,其规模和复杂度不断增加,传统用例生成方法效率较低,很难满足目前软件测试的需求,故而,如何提高测试用例生成效率仍需进一步研究。基于此,本文针对路径覆盖测试用例自动生成效率问题展开探讨。针对回归测试中