随着成像传感器的发展,各式各样的成像设备已经渗透到各行各业以及人们的日常生活中,它给行业的发展与人们的生活带来了极大的便利。但是,由于基于不同类型成像传感器的成像机理存在很大的差异,使得它们所采集的图像难以满足一些特定应用需求。而且,即使是相同成像设备在成像参数不同时所采集到的图像之间也存在较大的差异。在上述两种情况下所采集的图像通常难以客观地描述场景。为此,通过对多源图像进行融合能够获得目标和场景信息更加全面、更加清晰、更加适合人类视觉感知与机器理解的图像。这能够为无人机自主导航、遥感目标探测等军事应用提供有力的技术支撑,同时也能够为医疗诊断、自动驾驶等日常生活提供极大的便利。因此,多源图像融合技术在国家安全与发展等方面均发挥着重要作用。现在多源图像融合技术已发展到较高水平,但是由于采集图像场景的特殊性,目前的技术对有些问题仍然不能够很好地解决,本文主要针对这些问题进行研究,主要问题有红外与可见光图像融合、多聚焦图像融合。本文主要研究的内容可以概括为以下五个部分:为了说明本文研究工作已有的基础,第一部分简明扼要地介绍了多源图像融合的基本原理,并对现有的多源图像融合方法进行了总结和归纳。1.针对基于传统小波变换的融合方法得到的融合图像质量对比度低、引入人工噪声的问题,设计了一种基于谱图小波变换的融合算法。该算法主要借助于谱图小波变换相比于传统小波变换具有平移不变性而且能够很好地表示图像的各向异性结构的优势将源图像变换到谱图小波域,通过求解源图像的显著性特征图并进行比较获得初始的融合权重图,然后对初始融合权重图采用双边滤波优化得到理想的融合权重。这样可以解决传统小波变换算法的融合结果图像对比度低、存在噪声的问题。2.针对利用多尺度分解与空域滤波技术的图像融合方法各自固有的不足,设计了一种基于多尺度空域滤波的图像融合算法。在该框架下,图像分解方法与融合策略通常是两个最关键的点。为此,该算法利用了多尺度空域滤波方法对图像进行了分解,而且对于分解的近似子带采用局部邻域梯度度量的融合方式进行融合,对于细节子带采用局部高阶相关性度量的融合方式进行融合。这样可以解决传统空域算法的融合结果中存在块效应的问题。3.针对传统图像融合方法对未完全配准的多聚焦图像进行融合时得到的融合图像边缘被模糊、存在块效应的问题,设计了基于空域图像滤波结果之间的差异的多聚焦图像融合算法。该算法利用两个不同引导图像对源图像分别进行引导滤波获得两个滤波结果,并用两个滤波结果相减得到源图像的显著性特征图;然后通过对显著性特征图进行比较获得初始融合权重图,并依次对该融合权重图进行形态学滤波与引导滤波优化获得理想的融合权重图。利用该算法可以有效解决融合结果中存在块效应和边缘模糊的问题。4.针对利用传统基于稀疏表示得到的融合结果中存在块效应的问题,设计了一种基于模糊字典学习的图像融合算法。该算法在字典训练阶段使用公开的多聚焦图像数据集,利用旋转引导滤波对这些图像进行平滑滤波得到对应的模糊图像。在融合阶段,该算法主要是利用离线学习好的模糊字典来求源图像的聚焦特征图,并采用优化方法对聚焦特征图进行优化得到融合权重图。该算法能够有效地学习多聚焦图像中的散焦区域特征,并能够很好地融合多聚焦图像中的聚焦与散焦区域的边界,避免了融合结果中出现噪声、块效应等问题。5.针对已有的基于深度卷积神经网络(CNN)的多聚焦图像融合方法在学习网络模型时均需要标准参考图像、通过学习深度网络模型来区分图像的聚焦像素与散焦像素并用此分类结果求解融合权重图并需要后续优化处理的问题,设计了一种用于多聚焦图像融合的无监督网络结构。该网络模型不需要任何标准参考图像且不需要任何后续优化处理便能够直接输出融合图像。训练该深度无监督网络模型是利用一个已被广泛应用于评价图像质量的度量和一个常用的无参考图像的融合图像质量的度量设计了一个新的适用于该网络模型优化的损失函数。利用该算法不仅能够有效避免不必要的后处理,而且能够得到良好的融合结果。