论文部分内容阅读
使用救援机器人代替士兵执行战场无人化救援和后送任务已成为各国军队后勤科研建设的重点研究方向。战场环境复杂多变,多种地形结构相互耦合,给救援机器人的连续移动带来了很大的挑战。快速准确识别未知地形是救援机器人实现自主移动的关键,地形识别和地形语义分割算法可以提高救援机器人对地形环境的感知能力,实现地形预判,从而避免将机器人平台陷入危险的环境中。视觉特征包含了丰富的地形场景信息,是现阶段机器人进行感知地形环境的重要方式,通过与深度学习技术相结合,开展基于视觉的救援机器人视觉语义识别算法研究具有重要的理论意义和实用价值。因此,本论文以提高救援机器人地形适应能力,增强其对复杂地形的感知能力为主要研究目的,开展了基于深度学习技术的救援机器人地形识别算法和地形语义分割算法的研究,论文取得的研究成果如下:（1）对现阶段地形识别算法和地形语义分割算法的研究进展进行了总结,并结合深度学习技术对基于视觉特征的地形识别算法和地形语义分割的研究现状、不足和趋势进行了重点阐述。（2）构建了包含16种地形的地形识别数据集。本论文根据战场复杂地形特点,通过高精度军事模拟仿真软件进行建模,构建了基于战场复杂地形的Battleground-16数据集,该数据集包含多种特殊复杂地形,可满足大部分地形识别算法的研究需求。（3）基于胶囊神经网络（Capsule Net,Caps Net）设计了最优表征分支算法（Best Representation Branch Method,BRBM）,为地形图像识别的空间特征、特征选取和特征融合提供了一种新的设计思路。本论文通过将主流CNN结构VGG19、Inception-v4和Res Net50同Caps Net相结合,验证了平衡点位的存在,该点位处提取的图像特征能够兼顾局部空间特征和全局语义特征,可以有效提高算法的识别性能,并通过Grad-CAM算法可视化了算法的注意力热力图,为平衡点位提供了理论上的解释。BRBM算法可以有效学习提取图像特征中的局部空间特征,为全局语义特征提供识别决策,有效地解决了局部空间特征损失的问题,提高了算法对于易混淆地形的识别能力。F~2BRBM算法在BRBM算法的基础上进行了以激活向量为核心的特征融合,融合后的图像特征可以有效表征语义主体中心和结构边缘处的局部空间特征,取得了更高的识别准确率。BRBM算法和F~2BRBM算法在业内基准数据集上完成了地形识别性能验证并与公开算法进行了对比,在UCM、AID和NWPU-45数据集上分别取得了99.58%、96.97%和94.87%的识别准确率。随后,F~2BRBM算法在自建Battleground-16数据集上同样取得了97.62%的识别准确率。时间成本分析结果表明,本论文设计的地形识别算法可对32批次地形图像样本实现85 ms的识别速度,具有优秀的地形识别能力和实时响应速度。（4）设计了基于双分支特征融合的轻量级语义分割算法（Feature Fusion Dual Branch Net,F~2DBNet）。该算法通过浅层特征提取分支和Caps Net提取并增强图像特征的局部空间特征,使用深层特征提取分支和Improved SENet提取并增强图像特征的全局语义特征,最后通过转置卷积融合模块进行特征融合,提高了算法的特征提取能力。同时,算法基于空洞卷积和深度可分离卷积设计了两种特征提取结构BA和SA,减轻了网络训练所需参数,提高了算法在小存储空间平台的搭载性能。F~2DBNet-BA算法和F~2DBNet-SA算法均在Cityscapes数据集、Sift-Flow数据集和Semantic Drone数据集上完成了训练、验证和分割效果的对比评估。实验结果表明,F~2DBNet-SA和F~2DBNet-BA实现了分割效果、参数量和响应速度的良好平衡,F~2DBNet-BA的分割性能在三种数据集上的表现均优于F~2DBNet-SA,分别取得了72.88%、87.57%和82.80%的m Io U,同时具有较低的参数量和较快的响应速度,为小型、轻型救援机器人平台的搭载奠定了算法支撑。（5）在两种移动机器人平台上进行了F~2BRBM算法地形识别和F~2DBNet-BA算法地形语义分割实验。采集的地形视频流通过视频流预处理框架抽取关键帧进行地形识别和地形语义分割,避免了算法对相邻相似帧重复检测。地形识别的实验平台为四足变胞移动机器人和麦克纳姆轮式全向移动机器人,实验地形为石砖、沥青、雪地和草地地形;地形语义分割的实验平台为麦克纳姆轮式全向移动机器人,实验地形为街道、停车场和草丛。在四足变胞移动机器人平台下,F~2BRBM算法分别取得了99.43%（低速）和98.56%（高速）的地形图像识别准确率;在麦克纳姆轮式全向移动机器人平台下,F~2BRBM算法分别取得了96.06%（低速）和94.42%（高速）的地形图像识别准确率。对比本课题组之前设计的深度滤波器（Deep Filter Bank,DFB）算法,F~2BRBM算法具有更佳的识别性能,并且对平台移动速度具有较好的鲁棒性。在麦克纳姆轮式全向移动机器人平台进行了地形语义分割实验,算法对于边界清晰、外形规则和像素占比较大的地形语义类别具有较好的分割效果。此外,算法在无人机平台进行了跨平台拓展应用实验。论文研究成果可以为救援机器人在战场复杂地形环境执行救援任务提高移动控制和自主导航提供重要的信息参考和算法支撑。