基于语义ORB-SLAM2的移动机器人视觉感知算法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:zhangwenda_gz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
移动机器人能成功在未知环境中执行目标导航任务的前提是准确感知理解周围环境。本文改进了在未知动态环境下机器人自主定位与建图算法,并从各方面挖掘出环境中的有用信息。通过检测动态物体并剔除动点噪声,生成高精度轨迹。通过关键帧投影修复当前图像被遮挡的静态背景,使移动机器人具有“透视”能力,能感知被遮挡部分背后的场景信息。通过融合2D图像目标检测结果构建3D点云语义地图,使机器人能根据所建地图获取场景中存在的物体类别及其位置信息。通过点云分割动态建立概率占据地图,为移动机器人在识别到目标物体后如何避障,规划路线提供参考信息,进一步提高机器人感知环境的能力。本文研究目标是解决移动机器人在未知环境中自主定位与感知理解环境信息的问题,研究思路是将视觉SLAM(同时定位与建图)与深度学习结合,实现基于语义ORB-SLAM2的移动机器人视觉定位与环境感知功能。所做工作如下:(1)研究并改进ORB-SLAM2算法。在特征点跟踪匹配前,使用深度卷积神经网络Mask R-CNN对图像中的先验动态物体进行语义分割,并通过多视角几何将与先验动态物体相联系的其他非先验动态区域也一并分割。从而剔除环境中的动点噪声,减少因动点噪声给计算相机位姿带来的误差,使得构建的地图精度更高。(2)研究图像遮挡修复算法,还原图像上被动态物体遮挡的背景区域,实现将动态环境恢复为静态环境。通过遍历关键帧数据库,将关键帧静态背景区域上的像素点投影过去,修复当前帧图像中被动态物体遮挡的背景。(3)研究基于深度学习的目标检测算法SSD,通过Mobilenet_v2-ssd-lite网络模型获取2D图像语义信息,对生成的3D地图点进行语义分割,实现3D物体几何信息与语义信息的融合,从而构建出3D点云语义地图。(4)研究三维环境的概率占据地图OctoMap原理,在ORB-SLAM2建图线程中,实现动态生成概率占据地图OctoMap,使移动机器人能够根据占据概率地图判断某个位置能否安全通过。(5)对本文所设计算法进行实验研究,使用TUM RGBD数据集从算法功能、算法精度、算法时间三方面检验实现效果,以验证算法的可行性与准确性。实验结果证明本文所做工作完善了ORB-SLAM2的功能,提高了算法精度。在时间上,则要根据不同环境采取不同的算法策略。最后,根据实验所发现的算法不足之处,展望了未来可进一步改进的研究工作。
其他文献
可以将废热转换成电能而又环境友好的热电材料越来越受到重视,其热电转换效率取决于热电优值ZT=S2σT/κ,而其中的热电系数相互关联,提高热电优值受到很多限制。层状半导体可以被制成原子层厚度,其二维量子受限效应可能会对热电性质产生重要影响。本论文利用第一性原理计算和玻尔兹曼输运理论,研究了几种层状半导体及其单层和异质结构的热电输运性质,得到以下主要结果:我们首先研究了层状块材Bi2O2X(X=Se,
分子电子学,作为纳米科学乃至凝聚态物理的重要分支,已经获得了实质性的进展。在单分子水平上探测量子输运现象以及开发相关应用是分子电子学的目标,其中研究载流分子结中的光响应对理解纳米尺度下的光-物质相互作用和能量转移机制至关重要。扫描隧道显微镜(Scanning tunneling microscope-STM)具有高空间分辨能力,若与高灵敏度的光子探测器结合就可以实现利用光学手段对单分子的表征和探测
脑胶质瘤是常见的脑恶性肿瘤,具有发病率高、极难治愈,容易复发的特点。脑胶质瘤的早期诊断可以有效地预防患者的病情恶化,对于肿瘤的治疗以及预后评估具有重要意义。设计并实现了一种基于深度学习的脑胶质瘤分割系统。其中,该系统分为两个部分,分别是前端交互系统和后端分割算法。具体而言,前端交互系统包括MRI脑部图像读取与保存、多序列图像显示、颅骨分割处理、十字线显示、测距、生成报告等多种功能;后端的分割算法使
区块链是一种新兴的数据存储技术,可以将数据以分布式的形式进行安全有效的存储,并通过加密、共识等手段实现数据的不可篡改性和一致性。当前对区块链的研究主要集中在区块链流程优化和共识算法等方面,应用主要集中在金融领域和一些交易量多的小型应用上。本文考察了一些传统的集中式数据存储模型,发现存在被攻击或者维护成本高等问题;同时也考察了一些传统分布式数据存储模型,如基于RAFT的传统分布式系统,发现存在恶意节
随着旅游业的不断发展,旅游需求的精准预测是旅游业快速、稳健发展的重要前提和保证。由于受到旅游周期性与容量的限制,旅游资源的供需会出现失衡的现象。对旅游资源进行优化配置需要建立合理的预测模型,为旅游资源的分配提供数据支持,因此,精准预测旅游需求对旅游业发展具有重要意义。本文主要针对旅游需求中的游客到达人数问题进行研究,具体工作可以分为以下几个部分:针对回声状态网络中储备池随机生成,神经元之间存在很强
乡镇产业发展的战略选择问题,是在乡村振兴大背景下凸现出来的重要问题,需要结合自身的地域条件、特色资源、特色产品、特色文化等优势,确立符合本地实际的产业发展战略方向。本文首先综合研究了大别山区基本情况,精准扶贫战略的实施和成果,乡村振兴战略的要点和要求,确定了发展产业的必要性和研究产业发展战略的必要性,对罗田县匡河镇目前的传统产业情况、特色产业发展情况和产业发展中存在的主要问题和原因进行了全面总结,
离群专利是指已发表但在关键概念和内容上与现有专利不太相似的专利。考虑到这一特性,一些人认为,离群专利可能产生不受现有技术轨迹限制的新兴技术,甚至可能破坏现有的解决方案;然而,由于数据处理能力的缺乏,现有的研究保持在小规模的离群专利中。最近深度学习方法和大数据的兴起可能有助于这一点。因此本研究开发了一个使用深度学习模型对大规模离群数据进行早期识别的框架。首先,基于海量专利数据中专利内容的相似性,采用
目前,大部分图书馆都是采用“条形码+安全磁条”的方式对馆藏图书进行管理,这种管理方式可以实现图书信息的自动化识别,在一定程度上提高了图书馆的工作效率,但是条形码技术是基于光学原理,一次只能扫描一本图书,在多本图书借还的场景下效率较低,并且条形码易污损、识别距离近、不能识别移动物体。RFID(Radio Frequency Identification)技术具有防抗污染、耐磨损、识别距离远、一次性可
近几月,新型冠状病毒在全球蔓延,一些国家包括我国在内的累计确诊人数迎来了爆发式增长。各国都采取了相应的措施来抑制病毒的传播。例如我国一些省市在其卫生健康委员会网站上公布了新冠肺炎患者的行程史,希望近期去过这些场所的市民提高警惕,如遇不适及时隔离、及时就医。由于这些公布的信息仅包含了各自省市的信息,而很多新冠肺炎患者有外地出行史,这部分信息很难及时提供给其他城市。本文针对上述问题,设计了一个基于区块
目前环境中大气污染导致的各种问题越来越严重,亟待我们解决。气体传感器可以检测气体的种类和浓度。在诸多气体传感器中,声表面波(SAW)式气体传感器具有分辨率高、测量再现性能好和抗干扰能力强的优点,符合系统数字化和集成化的发展方向。氧化钨(WO3)胶体量子点是一种低维纳米材料,它具有可以和多种衬底兼容、可溶液处理以及比表面积大的优点,可用于室温环境下的检测。本文的主要工作为WO3胶体量子点气敏薄膜的制