论文部分内容阅读
随着科技的进步,大量的图像融合方法被提出。早期,一些基于多尺度的图像融合方法是将待融合图像转换到频域进行计算,对频域中的数据进行融合,再将融合后的频域系数经过逆变换重构出融合结果。这种方式极大地增加了算法的计算量,所以之后的一些研究学者们提出直接对待融合图像进行处理,并提取图像特征,如稀疏表示与低秩表示。但基于稀疏/低秩表示的图像融合算法的缺点就是需要学习一个过完备字典对输入图像进行表示,而这种操作使得算法整体的运行效率变得很低。因此,近几年一些研究学者试图寻找一种更简单的特征提取和融合方法,而基于深度学习的图像融合算法能够一定程度上满足这个要求。通过大量的训练数据训练一个端到端的网络,再使用训练得到的网络对待融合图像进行特征提取和融合,生成融合图像。同时,受到基于深度学习的图像融合算法的启发,我们提出基于改进版本的多级分解的图像融合方法。因此,本文研究重点主要集中在基于深度学习的图像融合方法研究。本文的主要贡献分为以下几个方面:（1）一般基于卷积神经网络（Convolutional Neural Network,CNN）的深度学习模型训练是十分耗时的,因此,本文提出了将轻量级的深度学习网络PCANet用于多聚焦图像融合方法中。利用训练得到的PCA滤波器提取图像特征,并采用基于核范数的方法生成活动水平图。针对活动水平图,采取后处理操作生成最终决策图。最后,根据决策图对待融合图像使用加权策略生成多聚焦图像的融合结果。通过与其它方法对比表明该方法在主观和客观评价上取得了很好的融合结果。（2）基于DenseFuse提出的融合框架,本文从提取多尺度特征的角度出发,在编码器中添加提取多尺度特征层,以更丰富的特征表示进行融合并重构。因此,我们提出多尺度稠密连接网络（Multi-Scale DenseNet,MSDNet）并将其应用于医学图像融合中。融合网络的主要框架由编码器、融合层和解码器组成。首先通过编码器得到源图像不同尺度下的图像特征,在融合层中,采用基于7)1范数的空间注意力机制融合不同尺度下的特征。最终,将融合后的不同尺度下的特征连接起来传送到解码器,从而重构出融合结果。通过与其他方法对比,所提出的方法在客观和主观评价上取得了很好的融合效果。（3）针对基于多尺度特征的融合方法继续研究,我们提出了基于Res2Net的红外可见光图像融合方法。我们的融合模型包含三个部分:编码器、融合层和解码器。更重要的是,我们提出了一个新的训练策略——使用一张灰度高清自然图像训练一个基于Res2Net的自编码网络的重构能力。同时对新的训练策略做出了分析与评估。训练结束后,我们使用基于Res2Net的编码器提取源图像的多尺度特征,并在融合层针对提取到的特征使用基于l1范数/平均操作的空间注意力机制进行融合。最终,融合结果由解码器根据融合后的特征重构得出。实验结果表明,我们的方法从客观和主观评价上去取得了很好的融合效果。（4）基于深度学习的图像融合方法的启发以及一种新的多级图像分解方法（MDLat LRR）的提出,我们提出基于改进的图像分解算法（MDLat LRRv2）的医学图像融合方法。鉴于MDLat LRR对低频信息的关注度不足,没有有效地利用潜在低秩表示（Latent Low-Rank Representation,Lat LRR）得到的低频信息,我们提出学习一个新的低秩投影矩阵来代替Lat LRR中提取低频信息的操作,同时有效的避免了对输入图像大小的限制,使得融合算法能够处理任意大小的输入图像。并将MDLat LRRv2应用于医学图像融合任务中,针对细节信息采用基于核范数的融合策略,针对低频信息采用平均策略进行融合。通过与其他方法对比,实验表明从主观和客观角度上都取得了很好的融合性能。