论文部分内容阅读
图像分割是从图像处理到图像分析的关键步骤,分割结果的好坏直接影响后续图像分析的性能。遥感图像目标分割是图像处理中重要的应用之一,通过对整幅遥感图像处理,可提取建筑物、道路、海岸线以及城市地物信息等目标,可为城市规划、环境建模、探测自然灾害等应用提供指导,具有很高的军用与民用价值。遥感图像有着数据规模大、目标小且密集,色彩对比度不高等特点,因而对遥感图像分割的研究存在诸多困难。目前基于主流深度神经网络的图像分割方法众多,但由于遥感领域缺乏大量带标注图像来训练深度网络,且主流框架因重复池化和卷积步长带来的信息损失导致模型不能得到较为准确的分割结果。基于以上分析,本文在现有深度神经网络理论的基础上,探索解决主流深度分割模型因信息损失带来的漏分、目标细节模糊且不能有效应对图像中目标多尺度等问题。具体研究内容如下:(1)针对深度分割模型中池化和卷积步长造成信息丢失而导致不能获得精细的分割结果问题,提出基于级联多级特征的图像分割模型。首先,选择编码器中前两个卷积阶段的最后一层卷积特征与后三个卷积阶段的所有卷积层特征,并对后三阶段的特征通过跳跃连接做逐像素相加融合。其次,选择解码器中最后三个卷积阶段的所有卷积层特征并对其也做逐像素相加融合。最终,将以上多级特征以通道拼接的方式进行级联,再送入新的卷积层学习并做类别预测。在Caltech-UCSD Birds200和ISPRS Vaihingen数据集上实验并与其它深度分割模型进行对比,结果表明,将不同层级的特征图级联能够使该模型充分利用深度网络提取的中间层特征,分割出的目标更为完整、连续性好,错分以及漏分较少。(2)针对深度模型中池化和卷积步长造成的信息丢失、遥感图像中目标尺度不同、光照、遮挡情况复杂等问题,提出结合完全残差连接和特征融合的遥感图像分割模型。通过在编码器和解码器中相应阶段使用残差单元,同时提取编码器中各卷积阶段若干卷积层的特征信息,并对编码器中最后一个卷积阶段的特征图使用特征金字塔模块来提取多尺度特征,最终将以上特征信息以逐像素相加的方式融合进解码器的相应层中。在ISPRS Vaihingen和Road Detection数据集以及不含标注的图像上进行实验的结果表明,该模型优于目前先进的图像语义分割模型的结果,分割出的目标更为完整、连续,错分以及漏分较少,并在不同来源的遥感影像道路分割中也取得了优于比较模型的结果。(3)针对主流深度分割模型结果图中像素空间连续性差,现有后处理方法计算繁琐且成本高等问题,在现有深度网络分割模型的基础上,提出融合多尺度上下文信息的cGAN图像分割模型,它由生成器和判别器构成,其中,生成器使用改进后的SegNet模型,通过使用不同比例的空洞卷积提取编码器中末端池化特征图的多尺度特征并与全局特征融合,实现提取多尺度上下文信息的目的;判别器使用一个二分类的卷积神经网络,其输入是生成器的生成结果或真实标记图与原始图像的组合,实现判断输入来自生成器的生成图还是真实标记图的目的。通过与对比模型在Road Detection数据集上进行实验对比,结果表明,该模型的分割结果在完整性、细节性以及像素的空间连续性等方面都优于对比模型的结果。