论文部分内容阅读
随着近年来无人机技术的发展,搭载视觉传感器的小型无人机以其小巧便捷、成像迅速、成本较低等优势在各行各业得到了越来越多的应用。然而,对其所获取图像的语义分割技术的欠缺仍是限制其进一步应用的瓶颈之一。本文以无人机城市图像的语义分割任务为研究对象,结合卷积神经网络与概率图模型的相关思想,提出了适用于无人机城市图像语义分割的模型,并将此模型通过深度迁移学习应用到机载遥感城市图像的语义分割任务中,具有重要的理论意义和应用价值。本文主要工作与成果如下:
(1)针对城市无人机图像拍摄中传感器与目标距离远、角度大导致的图像中目标小、背景杂等问题,提出了一种基于卷积神经网络的融合FCN模型,该模型的两个支路同时接收无人机图像与其对应的数字表面模型作为网络的输入。同时,提出了在融合FCN网络模型中的数字表面模型支路的捷径结构与两个支路融合时的HCI融合方法,目的是更有效率地同时利用图像细致的纹理信息与数字表面模型中包含的潜在的位置信息;
(2)针对基于卷积神经网络的模型结构固定,像素与像素之间的关联被限制在卷积核的范围之内,使得其像素点与像素点之前缺乏长程依赖这一问题,提出了一种基于条件随机场的图像语义分割后处理算法,并结合多尺度分析与注意力机制,在由无人机图像与由数字表面模型上采取不同的自适应权值,以细化前级分类器输出的初级语义分割结果;
(3)针对无人机飞行范围较小而导致的地表分析能力较弱的问题,提出了一种将融合FCN模型通过深度迁移学习应用在机载遥感图像语义分割的方法,以实现低空、分辨率高、但范围小与高空、范围大、但分辨率低,两者相矛盾的地面分析能力。在数据、特征、任务三个层面上对深度迁移学习的可行性进行了详细的分析,同时讨论了在深度迁移学习中源域与目标域差距较大时负迁移现象的产生。提出的方法减少了模型的训练时间,增强了模型的可重用性。
综上所述,本文实现了对无人机城市图像的语义分割,并迁移到机载遥感图像的语义分割任务上,为后续诸如无人机自动飞行、着陆点判断、目标跟踪与高/低空地表分析任务提供了基础。
(1)针对城市无人机图像拍摄中传感器与目标距离远、角度大导致的图像中目标小、背景杂等问题,提出了一种基于卷积神经网络的融合FCN模型,该模型的两个支路同时接收无人机图像与其对应的数字表面模型作为网络的输入。同时,提出了在融合FCN网络模型中的数字表面模型支路的捷径结构与两个支路融合时的HCI融合方法,目的是更有效率地同时利用图像细致的纹理信息与数字表面模型中包含的潜在的位置信息;
(2)针对基于卷积神经网络的模型结构固定,像素与像素之间的关联被限制在卷积核的范围之内,使得其像素点与像素点之前缺乏长程依赖这一问题,提出了一种基于条件随机场的图像语义分割后处理算法,并结合多尺度分析与注意力机制,在由无人机图像与由数字表面模型上采取不同的自适应权值,以细化前级分类器输出的初级语义分割结果;
(3)针对无人机飞行范围较小而导致的地表分析能力较弱的问题,提出了一种将融合FCN模型通过深度迁移学习应用在机载遥感图像语义分割的方法,以实现低空、分辨率高、但范围小与高空、范围大、但分辨率低,两者相矛盾的地面分析能力。在数据、特征、任务三个层面上对深度迁移学习的可行性进行了详细的分析,同时讨论了在深度迁移学习中源域与目标域差距较大时负迁移现象的产生。提出的方法减少了模型的训练时间,增强了模型的可重用性。
综上所述,本文实现了对无人机城市图像的语义分割,并迁移到机载遥感图像的语义分割任务上,为后续诸如无人机自动飞行、着陆点判断、目标跟踪与高/低空地表分析任务提供了基础。