论文部分内容阅读
在遥感领域,SAR具有全天时、全天候采集数据的优势,是目前最先进的传感器之一。随着航天航空任务的增多,可以获得大量的SAR图像,这些图像的自动解译变得越来越重要。变化检测和地物分类是遥感图像理解中两个非常活跃的研究课题,它们在农业监测、城市规划、灾害评估、环境调查等领域有着广泛的应用。近年来,深度学习方法在自然图像分类、目标检测、语义分割等领域取得了突破性的成果。在遥感领域,研究基于深度学习的方法来解决变化检测、目标识别、图像检索、地物分类等问题已经引起了人们越来越多的兴趣。一方面,各种有监督的深度神经网络可以用来学习高效的特征表示,它们通常需要大量手动标记的数据。然而,像素级任务标记数据既昂贵又耗时。另一方面,无监督生成方法如AE和DBN等通过基于像素级的目标函数(如重建损失)进行网络参数优化。它们学习到的特征表示更多地关注图像细节,而不是抽象的上下文信息。此外,学习到的特征表示并未考虑相邻像素之间的相关性。本文试图解决这些问题,主要的研究工作如下:(1)训练性能良好的DNN常常需要大量的标记样本。手动标记样本是一件费时且代价昂贵的事情,尤其是对遥感图像而言。这促使我们关注到已有标记的相关图像。然而,已标记图像(源域)和未标记新图像(目标域)之间存在着数据偏移。为了将“变化”的概念从有标记的源域适应到未标记的目标域,提出了一种基于深度迁移学习的变化检测框架。它包括预训练和微调两个阶段。在预训练过程中,提出了两个可以同时学习的任务,即有标记源域的变化检测和未标记目标数据的重构。辅助任务是重建目标域的差异图。DI对变化检测任务来说是非常有效的特征,因此它的重构与变化检测任务是相关的。在预训练过程中,这两个任务共享低层网络。它削弱了源域和目标域之间的特征分布差异,使源域的“变化”概念适应到目标域。在微调过程中,采用了两种策略从无监督方法得到的变化检测图中选择具有可靠伪标记的像素,对目标域的变化检测网络进行微调。提出方法在遥感数据上得到了很好的实验结果,验证了其能够将源域“变化”的概念迁移到目标域。(2)监督变化检测方法总会遇到当前场景(目标域)完全未标记的问题。在遥感领域,另一个场景(源域)有足够的标记却与目标域有着不同的数据分布。为了利用多个源域的先验知识来检测目标域的地物种类变化,提出了一种基于选择对抗适应的变化检测框架。多源域和目标域之间的自适应由两个域鉴别器实现。第一个域鉴别器将每个场景视为单个域,用于识别每个输入样本所属的域。根据第一个域鉴别器的输出,从多源域中选取重要样本子集,训练基于DNN的变化检测模型。结果表明,选择重要样本不仅增强了正迁移,也削弱了负迁移。在训练第二个域鉴别器时,假设所有选择的重要样本都来自一个域,然后引入对抗学习来对准所选源域样本和目标域样本的特征分布。因此,它进一步将从源域的“变化”知识适应到目标域。在微调阶段,使用具有伪标记的目标样本和选定的重要源域样本联合微调变化检测模型。由于目标域是完全未标记的,因此利用同质性和边界的策略从预分类图中选择可靠的像素作为目标域的伪标记数据。在三组SAR和两组光学图像上进行了实验,其实验结果验证了提出方法的有效性和优越性。(3)因为不同类型的传感器之间可以提供互补信息,异源图像变化检测受到了广泛的关注。然而,由于异源图像的统计特性和图像表征差异较大,因此它们不能直接进行比较从而生成变化检测的结果。受语义分割和人体姿态估计的DNNs的启发,提出了一种用于变化检测的深金字塔特征学习网络DPFL-Net,并同时适用于同源和异源图像。DPFL-Net能够以无监督的方式学习一系列层次特征,包含空间细节和多尺度上下文信息。将两幅输入图像的金字塔特征依次变换到同一空间后,使不变的像素对能够精确匹配,并进一步提出融合模块对多尺度DI进行融合,生成具有强可分性的DI。在此基础上,预测未变化的区域,并在下一次迭代中用于训练DPFL-Net。将金字塔特征和不变区域交替更新,提出了一种无监督的变化检测方法。在特征转换过程中,引入局部一致性约束金字塔特征的学习,通过建立相邻像素间的相关性模型,降低误检率。在同源和异源图像上的实验结果验证了提出方法的有效性。(4)大多数生成方法都是通过像素级的目标函数进行优化的。因此,学习到的特征更多的是关注图像细节,而不是抽象和判别信息。为了在同源和异源图像中进行变化检测,提出了一种基于对比自监督学习的密集特征提取方法。通过考虑SAR图像的噪声分布特性,本章提出的对比自监督方法可学习到像素级的特征。在构造正样本对的过程中,不但使用了基于数据扩充的技术,又考虑了像素之间的相关性,从而设计了一种更适合像素级预测的前置任务。基于本章的对比自监督方法学习到的特征,可对不变区域进行匹配,从而提出了一种无监督的变化检测方法。在同源和异源变化检测数据上,本章的方法都取得了较好的实验结果。(5)虽然监督深度学习方法能够提取到层次化的特征,但是,他们一般需要大量的标记数据。对于像素级任务而言,代价昂贵。因此,提出了一个由粗到精的对比自监督学习框架,用于提取全局和局部特征,并应用于有限标记数据的任务。它包括两个阶段,一个是预训练编码器学习全局特征,另一个是预训练解码器获取局部特征。首先,结合不同区域的几何位置和语义信息,提出了一种新的对比策略。它比单纯依靠数据扩充的方法提供了更多的线索进行对比自监督学习。在新的对比策略下,正样本对定义为语义相似的相邻区域,将语义不同的区域定义的负样本对,然后通过将正样本对相互靠近,负样本对远离学习全局和局部特征。其次,在分类模型中引入判别约束,采用编码器-解码器网络结构,使类间距离最大化。它能区分具有相似外观的不同类别。最后,在有限标记数据的SAR图像上对该分类模型进行了验证。经过预训练后,带有判别约束的分类模型提升了SAR图像地物分类的实验结果。