随着传感器技术的发展,我们能获取到的遥感图像的种类也越来越多。为了能够综合多个传感器的优势,我们需要对不同传感器上的遥感图像进行融合,全色图像和多光谱图像的融合就是其中一个研究的热点。遥感图像融合问题的关键在于在注入全色图像空间信息的同时保持多光谱图像的光谱信息不被破坏。现有的算法由于模型本身的局限性很难在空间保持和光谱保持之间达到平衡。为此,本文开展了基于卷积神经网络的融合算法的研究。本文在前人研究的基础上,通过改进现有网络的结构,提出了两种新的图像融合算法。本文的主要工作分为以下几个方面:首先,针对全色图像和多光谱图像尺度差异过大的问题,提出了深度金字塔网络,以多尺度的方式重构融合图像,缓解了尺度差异过大给网络学习带来的难度。为了进一步发挥金字塔结构的优势,我们在为金字塔的每一层提供相应的监督,有利于网络收敛到更低的误差。其次,针对上采样问题,现有算法通常采用传统的上采样方法,且在各个通道都使用相同的插值策略,而没有考虑到不同通道之间和不同地物之间的差异性。针对这一问题,考虑使用神经网络学习每个通道各自的上采样方法。最后,针对不同通道不同区域空间信息差异性。本文设计了一种并行的网络结构,由网络学习要注入的空间信息。其中,全色图像引导网络生成要注入到多光谱图像的特征图,多光谱上采样网络融合上述特征图生成最终的高分辨率多光谱图。另外,在GeoEye-1数据集上进行试验,通过和大量算法进行比较证明了本文算法的有效性。