图像融合是图像处理领域中的一个重要分支,可以将来自不同的传感器对于同一场景中的信息采集后得到的图像数据进行处理,保留各自数据中的有用信息并剔除掉冗余的信息,得到含有集成信息的高质量图像。图像融合在军用和民用领域都发挥着重要的作用。深度学习目前发展势头迅猛,在图像处理领域具有非常广泛的应用,但是在图像融合领域,深度学习方法对比传统方法并没有明显的优势,原因主要有两点:一、图像融合领域没有绝对意义上最好的融合结果,使得深度学习方法没有真值的指导,难以发挥网络强大拟合能力的优势;二、显著区域的判断、对高频信息和低频信息等重要信息的不同处理方法在图像融合中是非常重要的,这些都难以在一个端到端的深度学习模型中进行实现。但是深度学习方法仍具有其独特的长处。深度学习可以自动发掘出图像内部的特征信息,不需要手动设置特征处理的规则;深度学习具有很强的系统适应性,其训练得到的模型可以很方便地在新的场景中进行改进和优化。因此,本文对基于深度学习的图像融合方法进行了探索和研究,主要研究内容如下:首先,本文调查了图像融合的近期研究工作,介绍了图像融合领域常见的几种传感器图像,对传统像素级图像融合方法进行了整理,并分析了基于深度学习的图像融合方法的优缺点,对目前常用的图像融合质量评价指标进行了介绍。然后,在目前的基于深度学习的图像融合方法的研究基础上,提出了一种基于多层生成对抗网络的图像融合方法。本文在Fusion GAN的启发下,将输入的待融合图像分解成多层的下采样金字塔,并使用多层的网络结构对其进行处理和融合,使得网络能够充分地对全局信息和细节信息进行区分学习,让最后的融合图像结果具有更多的细节信息和更清晰的边缘。与Fusion GAN和多种传统图像融合方法进行对比,验证了本文提出的理论的有效性。最后,本文在基于神经网络的图像融合模型上,提出一种基于质量驱动的图像融合方法。通过构造图像融合质量评价指标的损失函数,不断优化图像融合网络的参数,以解决输入图像与训练数据集存在差异的问题,使输出图像具有更好的融合质量,是一种质量驱动的自适应图像融合方法。