论文部分内容阅读
近年来,各国航天技术取得重大进展,发射了越来越多的军用或民用遥感卫星,其获取的遥感数据在空间分辨率、时间分辨率、光谱分辨率上均得到大幅提升,为资源环境、现代农业、公共安全和军事侦察等多个领域提供便利。于我国而言,已形成了资源、环境、海洋、国防为一体的对地观测遥感卫星体系。尽管如此,受到卫星传感器的成像机理、硬件技术和发射成本等的限制,遥感卫星无法获得同时具有高空间分辨率和高光谱分辨率的影像。于是,对高分辨率遥感影像的获取难度与实际应用需求之间的矛盾,为研究人员将信息融合相关技术应用到遥感影像处理任务提供了动机,也成为了本文的研究基础。多源数据融合技术是指通过信号分析与图像处理技术,综合不同来源的数据,以提升数据的精度、置信度和丰富性。本文面向全色影像与多光谱影像融合以及多光谱影像与高光谱影像的融合任务,针对融合过程中的空间信息损失和光谱失真等问题,充分挖掘待融合数据的高维特性和层次化特征,基于张量表征、深度度量学习、生成对抗网络等模型,建立了多个融合框架。论文主要工作概括如下:1.针对传统基于多分辨分析的多光谱与全色影像融合方法存在的空间细节丢失和光谱扭曲问题,提出了一种基于多尺度几何支持张量滤波的多光谱与全色影像融合方法。首先,推广最小二乘支持向量回归至张量形式,从其结构风险最小化的优化函数中,推导出张量滤波器,并通过引入Ridgelet核函数,赋予该张量滤波器方向性,将其推广至多个尺度,得到具有方向性的多尺度几何支持张量滤波器。其次,利用构造的多方向多尺度的张量滤波器对影像进行特征提取,得到具有几何特性的多尺度特征。最后,将这些特征在不同方向和尺度上进行融合,得到融合后的高空间分辨率多光谱影像。该方法通过多尺度多方向的特征提取以及张量形式的特征融合,极大地减少空间信息的损失和光谱的扭曲。在QuickBird和GeoEye-1卫星数据的融合结果显示,该方法与传统逐波段注入方法相比,能够很好地保持光谱信息,同时尽可能地提高多光谱影像的空间分辨率。2.提出一种张量空谱联合相关正则的多光谱与高光谱影像融合方法。从张量表征出发,通过探索张量在不同维度的低秩特性,构建了一系列维度判别的低秩张量,将融合问题建模为光谱梯度稀疏正则的判别式低秩张量恢复问题,并通过交替方向乘子法对模型进行优化求解。在Pavia数据和Washington数据上的实验结果从视觉效果和定量评价指标上均验证了所提出方法的有效性。3.提出一种基于深度度量学习的多光谱与全色影像融合方法。考虑到遥感影像的几何结构具有多样性,首先利用几何聚类方法将影像块进行粗分类,并以此作为深度度量网络的先验信息,再根据类别数设计相应数量的神经网络并进行训练。在训练时,采用堆栈稀疏自编码器网络结构,先利用输入输出之间的关系进行预训练,再将分类信息作为标签进行网络参数精调,得到训练好的深度网络。在测试时,对待融合遥感影像进行分块,其中的全色影像块作为网络输入,根据相应距离度量算法对其进行分类,分类至正确的子空间中,由于多光谱影像和全色影像描述的是同一个场景空间,因此,可以据此得到多光谱影像块的流形结构。重构时,这一影像块可由同一流形结构中的其他块线性表征,得到融合后的高分辨率多光谱影像块。在QuickBird、GeoEye-1和WorldView-2卫星数据上的融合结果表明,在视觉效果和客观评价指标上,所提出的方法均优于对比方法。4.针对现有深度学习融合方法由错误累积造成的融合误差,提出一种基于渐进补偿生成对抗网络的多光谱与全色影像融合方法。该方法通过对空间信息与光谱信息的渐进补偿,以两步融合的形式得到融合后的多光谱与全色影像。首先利用深度多尺度引导生成对抗网络对多光谱影像进行初步锐化,然后在初步锐化的多光谱影像的基础上,通过一对生成对抗网络对空间和光谱残差进行补偿,最终得到融合后的影像。整个融合模型包含三个生成对抗网络,基于该模型的独特结构,设计了一种联合补偿损失,使三个网络能够同时被训练。在QuickBird和WorldView-4卫星数据上的实验证明了该方法的有效性,且其融合结果优于对比方法。5.针对现有深度卷积网络融合结果产生的细节丢失和光谱失真问题,提出一种基于协作融合框架的多光谱与全色影像融合方法。该方法考虑融合中的双协作关系,即空-谱协作与谱间协作,利用小波变换分离全色影像特征的高低频成分,之后,对全色影像特征的低频成分进行变换,并利用它们引导光谱相关性的调节过程,调节过程采用图卷积网络。最后,将全色影像特征的高频成分与经调节后的多光谱影像各波段特征进行融合,得到高分辨率多光谱影像。在WorldView-4卫星数据融合实验表明,该方法优于传统融合方法和现有的基于深度学习的融合方法。