图像融合旨在融合不同传感器拍摄的图像以生成高质量的目标图像,在视频监控和自动驾驶汽车等领域具有重要的应用价值。多传感器融合图像不仅具有源图像不同的优点,而且消除了源图像中的冗余信息,对场景描述更为准确清晰。近年来,可见光和近红外图像的融合已成为图像融合的热门研究领域之一。与彩色可见光图像相比,近红外图像不仅不易受到光照、大气条件等外界环境的影响,而且具有更好的细节和对比度。通过融合彩色图像和近红外图像,可以获得既具有可见光图像颜色又具有近红外图像细节特征的融合图像。此外,随着人工智能技术的不断发展,深度学习在图像处理领域的地位愈发显著。基于此,本文主要研究基于深度学习的彩色图像与近红外图像的融合。本文的主要贡献如下:1.应用了一种多光谱深度融合网络,该网络由去噪、增强和融合子网络三部分组成。在低光条件下,彩色图像细节特征不明显,并且噪点严重。因此,本论文使用去噪子网络来消除彩色图像的噪声。去噪后,再使用增强型子网络来增加低光图像的亮度。最后通过融合子网络将近红外图像与彩色图像的亮度通道进行融合。实验结果表明,本网络可以有效地融合彩色图像和近红外图像,并生成包含近红外图像纹理信息和彩色图像颜色信息的高质量融合图像。2.提出了一种用于隐藏纹理恢复的彩色和近红外图像融合网络,即日光融合模型,该模型采用金字塔特征选择和权重引导图。与彩色图像相比,近红外图像不易受到大气环境和植被自身特性的影响,所以,本论文融合了彩色和近红外图像以恢复可见光图像中的隐藏纹理。过度曝光和曝光不足都会带来动态范围分配的问题,因此本文使用灰度图的权重来引导融合网络的对比度增强。在特征提取部分本文使用了金字塔特征选择模块来提取多尺度络信息,从而实现更好的融合效果。此外,本论文还提出了一种合成训练数据的方法,将原始彩色图像平滑处理作为输入图像。实验结果表明,本论文提出的日光融合模型可以成功地恢复彩色图像中丢失的隐藏纹理,同时保持颜色不变。3.在日光融合模型的基础上提出了彩色和近红外图像的低光融合模型。本论文使用平滑和伽玛校正的方法合成了低照度图像数据集,同时将近红外图像的细节添加到平滑的彩色图像中生成标签图像。低照度彩色图像噪声大,细节少,因此本论文提出了一种降噪网络来对彩色图像进行预处理。在降噪网络中,本论文采取了特征相加的操作,避免了在学习过程中信息损失,从而获得了高质量图像。因为去噪数据集容易获得,本论文独立训练了去噪网络,并对去噪之后的图像采用伽马校正来增强。实验结果表明,低光融合模型可生成噪声少,细节完整,色彩良好的高质量图像。