多光谱（Multispectral,MS）图像和全色（Panchromatic,PAN）图像的融合分类是遥感图像处理的一个研究热点。多光谱图像和全色图像是同一场景地物相同时刻的成像结果,但是由于成像技术的差异,两者呈现出一种表象差异,但本质相同的特性。目前常见的多光谱图像是具有四个光谱波段（RGB+近红外）的遥感图像数据,它的特点是光谱信息相对全色图像要更加丰富。而全色图像仅具有一个波段,它相较于多光谱图像的优势则在于空间细节更突出。目前多光谱图像和全色图像在城市规划、水利农业、资源探测、地质灾害检测、军事侦察等领域有着重要的作用。本文针对目前多光谱和全色图像融合分类领域的三个问题进行了探索和研究,具体方案内容如下:（1）针对多光谱图像和全色图像外在差异巨大问题,我们借鉴了泛锐化（Pansharpening）方法中的基于强度-色调-饱和度（Intensity-Hue-Saturation,IHS）的方法,提出了一个自适应加权的IHS算法。分别让多光谱图像和全色图像互相吸收彼此的独特信息用来减少数据之间的差异。为了对算法性能进行定量比较,我们将该策略与残差18网络结合,构成了一个混合的分类模型。在两个数据集上的实验结果证明了我们的网络的有效性。（2）针对多光谱图像和全色图像在深度学习模型中的特征融合不够高效的问题。我们借鉴了特征相关性的思想,提出了一个基于相关性的注意力特征融合模块。该模块对输入特征计算协方差矩阵获取特征通道之间的相关性,然后根据相关性的大小来生成一个掩膜向量,最后通过掩膜向量与对应通道的乘积实现输入特征的加权融合。这个模块是个即插即用的模块。我们首先验证了该模块的有效性,随后将该模块与第一个策略结合,并借鉴特征金字塔的思想,提出了一个自适应混合融合的分类网络。在两个数据集上的实验结果证明了我们的网络的有效性。（3）针对前面的非端到端分类模型效率过低的问题,我们通过对空间和通道注意力机制的研究,提出了一个空间和谱段融合的策略。分别用于融合网络浅层的空间和谱段支路的特征。通过将该模块与全卷积网络结合,我们实现了将多光谱图像的融合分类集成到一个端到端的网络中。同时为了提取更鲁棒的特征,我们还将全卷积网络中的卷积替换成了残差块。在两个数据集上的实验结果证明了我们的网络的有效性。