基于深度神经网络的视觉语义SLAM系统设计与实现

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:bjkhs
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
移动机器人同步定位与建图(Simultaneous Localization and Mapping,SLAM)方法是用于机器人环境感知和导航的主流建图方法。传统的视觉SLAM方法中RGB-D信息非常重要,系统可以从RBG-D相机中获取颜色和深度等数据,其中,在获取深度数据的过程中会受到距离、光照等因素的限制,难以获得较好的建图效果。单目相机结构灵活、价格低廉,在实际中有较高的应用价值。如何使SLAM系统在单目相机做传感器的条件下,准确地恢复三维空间信息是研究的热点方向。另一方面,由于传统的SLAM方法往往只采用数据量庞大的点云地图等形式来表示地图重建结果,设计出将重建的地图直接用于导航的SLAM系统,在移动机器人完成实际任务的过程中也十分重要。实际机器人工作经常在复杂动态场景中完成,但当下的SLAM方法往往基于静态环境假设,经典的SLAM方法难以在动态环境中进行准确的地图重建。如何将语义信息融合到传统SLAM方法中,进而提高动态环境下的建图准确性,也是当下的热点问题。课题首先设计并实现了新的深度估计算法来解决单目相机无法获取环境深度信息的问题,深度估计方法基于编码器-解码器架构,在Deep Lab V3+基础上对神经网络结构进行修改设计:使用高精度的Res Net101网络结合空洞卷积模型作为骨干网络,采用像素级的分类结果作为输出,获取预估深度图。在深度估计过程中还设计了动态跳帧策略,对损失函数进行了优化,使深度估计结果更加平滑。其次,考虑到机器人的导航需求,本文基于深度估计方法,设计并实现了一个完整的单目视觉SLAM系统,可以重建出直接用于导航的三维栅格地图。整个系统的设计基于视觉惯性融合SLAM方法Vins-Mono,利用单目深度估计方法获取深度信息,恢复出三维点云地图,并利用点云地图构建出能准确标识障碍物信息的三维栅格地图。最后,针对动态物体影响定位与建图准确度的问题,文中在研究总结现有方法的基础上,提出了在动态环境下构建语义地图的设计方案。动态环境建图方案基于语义分割方法,对场景中的所有物体进行语义标记,在文中实现的单目视觉SLAM系统的基础上,将二维语义信息与三维点云相关联,去掉动态特征点,维护带有语义的点云地图。在进行栅格地图构建时,使用概率更新的方式,构建完整的静态栅格地图。
其他文献
操舵系统是控制舰船、潜艇等军事装备运行轨迹和姿态的关键组成部分,其运行状态直接影响装备在实战环境下的战场生存能力,对确保装备能够安全可靠地实现多样化作战任务具有重要意义。在采用基于模型驱动的方法对操舵系统运动状态进行分析研究时,由于环境变化和量测误差等因素的影响,操舵系统物理模型中的摩擦系数、材料泊松比等关键参数会呈现出一定程度的不确定性。然而,现有的物理模型中,这些参数常常被视为常数而忽略了当这
现在外骨骼驱动器大多是采用常规驱动器(直驱)或者电机集成谐波减速器带动负载,由于外骨骼与环境之间的作用不同于其他机器人,是直接作用于人体肌肉关节,考虑到外骨骼人机交互的安全性和续航能力,本文研究串联弹性驱动器(Series Elastic Actuator,SEA)作为外骨骼驱动源具有的优点。本文是在详细研读了SEA在物理建模、控制算法、储能节能和应用领域等研究热点的论文基础上,从外骨骼对驱动器的
概率论与数理统计课程是我国高校理工科和经管类专业学生的基础课和必修课,以往教学方法下,学生会出现概念难以理解、方法难以掌握等问题,而疫情防控初期的大规模纯线上教学中又出现了网络(系统)卡顿、教师不适应线上教学、学生上网课时注意力不集中、教学评价模式单一、学生听课状态无法保障及教学效果不理想等问题。针对概率论与数理统计课程线上线下教学过程中存在的问题,提出三位一体的线上线下教学模式,为后疫情时代的课
随着全球卫星导航系统GNSS(Global Navigation Satellite System)技术日益成熟,GNSS已成为室外定位的最佳选择,在测绘、航空、航海、交通、气象等诸多环境中广泛应用。但在室内环境中,由于信号的遮挡,存在GNSS不可用的问题,因此,在室内环境中如何进行有效的定位,是一个亟待解决的问题。不同于以往足部式穿戴微惯导设备或者手持智能手机进行定位导航,本课题聚焦于穿戴更为方
世纪之交的几次局部战争中,无人机体现出极高的军事价值,成为各国军方研究的热点之一。近年来,通信技术的进步以及人工智能的应用,促进了无人机集群技术的发展,使得未来无人机集群化、有人/无人协同作战成为可能,推动着战争模式的根本性转变。融合导弹与无人机特性而设计的小型作战用无人机,为现代低成本高收益的作战模式提供了一种有效手段。本文以小型无人机为研究对象,针对多无人机在协同打击过程中的协同到达问题进行研
目标检测作为图像理解和计算机视觉的一个分支,是大量视觉任务的必要前提,当前也是机器学习领域中的一个热门方向。目标检测被广泛应用于许多的领域上,例如道路交通车辆以及标识、安保系统中的检测、军事领域中目标的识别。针对不同的应用场景而言,目标检测核心思想都是要解决物体在背景中的精确定位。对于红外图像中的目标,检测目标并对其物体轨迹进行分析是实际需求中必须要解决的难点。由于红外目标本身的特征弱、颜色缺失,
学位
天基红外光学监视系统利用部署在多个轨道平台所组成的光学传感器星座,对弹道导弹、航天发射等重要事件进行实时探测、跟踪、识别以及预报。对国土安全可能存在重大威胁事件的即时发现,有助于快速反应及时决策,增强我国战略防御能力。在这种应用背景下,天基红外光学监视系统面临着多种类、多型号目标的威胁考验。所以天基光学监视系统采用的探测体制和其中涉及的信息处理技术对系统效能具有决定性影响。天基红外光学监视系统星座
虽然当前基于图像的三维重建已经取得了较大的成功,但是有一类物体表面的重建效果仍然不理想,这类表面在现实场景中非常常见,主要包括镜面物体(比如玻璃、水面等)和弱纹理物体(比如白墙、瓷砖地面等)的表面。在传统的三维重建框架中,该类表面在稠密点云重建过程后会出现点云缺失的情况,造成没有足够的点云支撑进行表面重建,所以称之为弱支撑表面。本文主要针对含此类表面中平面形状的场景(即“弱支撑平面”)的三维重建问