由于高光谱遥感图像具有精细、丰富且连续的光谱曲线,能够表征地物的特有属性,因此在灾害检测、森林监管、城市规划与建设、农业估产等多个领域具有广阔的应用前景。但是高光谱图像空间分辨率不高,存在光谱混叠以及“异物同谱”等现象,严重影响了复杂场景中的地物分类精度。高光谱与其他源遥感图像具有丰富的互补与冗余信息,充分利用这些信息可以提高智能处理算法的性能,更好地服务于各种应用。然而目前基于高光谱图像的多源图像融合仍存在诸多问题:对于高光谱与全色图像融合,如何解决融合模型中端元子空间提取不准确的问题;对于高光谱图像与激光雷达图像融合,如何在复杂场景中进行样本标定,如何提取空间特征,如何运用空间-光谱-高度信息提高地物分类精度,即设计融合框架。针对上述问题,本文探索了高光谱解混模型与高光谱全色锐化模型的组合效果,以提取更准确的高光谱端元子空间;在高光谱与激光雷达图像融合中,研究了基于多源遥感图像的样本标定、空间特征提取和融合框架设计,并通过多组真实的遥感数据来评价所提出的方法。论文的主要创新性工作如下:(1)针对航天高光谱图像空间分辨率低的问题,本文提出了一种利用高光谱稀疏解混模型与高光谱全色锐化模型组合的高光谱与全色图像融合方法。利用稀疏解混提取由光谱库构成的端元子空间,缓解低空间分辨率的高光谱图像的端元子空间提取不准确的问题。在Moffett数据上,所提出方法的全局相似性的合成无量纲总体相对误差(ERGAS)可达3.65,小于传统子空间算法顶点成分分析的总体误差3.73。(2)为了提升地物分类精度,研究了具有较高空间分辨率的机载高光谱图像与激光雷达图像的融合。针对复杂场景中的样本标定问题,提出了一种利用多源遥感图像的样本标定方法,可应用于实际数据。为了改进传统高光谱图像与激光雷达图像融合算法GGF速度慢的问题,本文提出利用超像素分割去除空间局部邻域中光谱差异较大的像素,然后利用局部像素邻域保持嵌入方法进行保持空间局部邻域关系的降维,快速降低多源特征堆栈的维度。对2012年休斯顿数据集的测试结果表明,本文方法相比GGF,分类精度提升了0.5%,融合速度快了51.6%。本文提出利用树冠高程模型(CHM)和数字地面模型(DTM)叠加特征代表LiDAR图像特征,替换传统算法中的数字表面模型(DSM)。对罗切斯特数据集的测试结果表明,CHM和DTM叠加特征的总体分类精度84.11%,远高于DSM的总体分类精度69.71%。(3)针对高光谱与激光雷达图像融合中的空间特征选择问题和融合框架设计问题,本文首次提出一种残差融合策略,并设计了一种利用消光剖面特征(EP)和局部二进制模式特征(LBP)、协同表示分类器的新融合框架。利用残差融合策略避免特征堆栈维度过高和最大投票的粗糙结果,能够修正单源特征错误的分类结果。对2012年休斯顿数据集的测试结果表明,本文方法相比GGF,分类精度提升了2.35%,并且证明EP特征和LBP特征的叠加特征可以获得比单一特征更高的分类精度。所提出的融合框架可以推广到任何空间特征和任何基于协同表示的分类器。(4)高光谱图像与激光雷达图像融合中,针对空间特征选择问题和融合框架设计问题,本文提出利用深度残差网络从EP特征和LBP特征的叠加特征中提取深度特征,并且设计了三种基于深度残差网络的融合框架,分别是深度特征融合、概率重构融合和概率乘融合。在设计深度特征融合模型时,特征在深度学习网络的隐层中进行叠加,避免直接特征堆栈造成的维度过高。概率重构融合和概率乘融合直接融合概率矩阵,避免最大投票的粗糙结果,同时分别利用验证集和概率矩阵点乘解决参数选择问题。对2012年休斯顿数据集的测试结果表明,本文方法相比GGF,分类精度提升了4.97%。本文所提出的三种融合框架在融合过程中无需调整参数,易于实现,并且可以推广到任何空间特征和任何针对三维图像分类的深度学习网络结构,具有重要的现实和应用意义。