【摘 要】
:
机器人导航是指机器人从起始点出发到达指定目标点的过程,在此过程中应尽量避免与其他静态或动态障碍物发生碰撞。目前比较成熟的导航技术大多是在已知地图上进行路径规划,然而每当环境发生变化时就要重新建图,并且当无法获得地图信息时就无法建图。相较而言,基于深度强化学习的无地图导航方法能够在不知道全局环境信息的情况下,仅通过目标的大致方位进行导航,对动态未知环境有一定的适应能力,目前已成为无地图导航领域新的研
论文部分内容阅读
机器人导航是指机器人从起始点出发到达指定目标点的过程,在此过程中应尽量避免与其他静态或动态障碍物发生碰撞。目前比较成熟的导航技术大多是在已知地图上进行路径规划,然而每当环境发生变化时就要重新建图,并且当无法获得地图信息时就无法建图。相较而言,基于深度强化学习的无地图导航方法能够在不知道全局环境信息的情况下,仅通过目标的大致方位进行导航,对动态未知环境有一定的适应能力,目前已成为无地图导航领域新的研究方向。本论文针对基于深度强化学习的无地图导航中的安全性问题,将一种安全强化学习算法即约束型策略优化算法引入,提出一种基于深度安全强化学习的无地图导航方法,并在仿真环境和真实环境中进行实验与分析。本论文首先针对无地图导航问题建立了基于深度强化学习的模型,确定了目标信息、激光信息和机器人运动信息为输入信息,选取连续的角速度和线速度为输出信息,结合输入输出信息和强化学习设计了基于深度强化学习的端到端导航框架,并提出成功率、碰撞率和超时率等评价指标。在此基础上,实现了基于标准强化学习的无地图导航,设计了状态空间、动作空间、奖励函数和Actor网络;为进一步提升安全性,实现了基于安全强化学习的无地图导航,设计了安全性约束和风险函数并提出Actor-Critic-Safety网络架构。为验证方法的有效性,基于ROS和Gazebo搭建3D导航仿真平台并设计了多种背景下的仿真环境用于训练及测试,基于社会力模型并结合Social Force Pedestrian Simulator搭建动态行人仿真环境用于动态避障性能的测试,最后搭建真实移动机器人平台并对模型的泛化性能进一步进行测试。实验结果表明,与基于标准强化学习算法的无地图导航方法相比,所提基于约束型策略优化算法的安全导航方法,能明显降低导航碰撞率、提升成功率与安全性;与传统的无地图导航方法Bug2算法相比,所提方法的导航路径更短更优,且接近于利用A*算法进行全局规划和动态窗口算法进行局部规划的有地图导航方法的导航路径。将静态环境中训练的模型不经过任何微调直接迁移至新的动态仿真环境和真实的静态与动态行人环境中进行测试,结果表明了模型具有良好的迁移泛化性能与动态避障性能。
其他文献
目的 三叉神经痛(trigeminal neuralgia,TN)是一种备受人们关注的神经性疼痛,目前认为TN的实质可能是一种过度兴奋,表现为血管受压后脱髓鞘的三叉神经出现异常放电或异位动作电位。Nav1.3是电压门控钠离子通道(Voltage-gated sodium channels,VGSC)的一种亚型,其异常表达在异位放电的产生中起重要作用。Micro RNA(miRNA)是一种非编码RN
目的:通过回顾牙内陷患牙的诊疗过程,归纳其临床及影像学特点,观察其预后效果,从而为牙内陷的临床诊疗提供更加详细的参考资料。方法:选择2016-2021年于安徽医科大学附属口腔医院牙体牙髓病科就诊,经临床和影像学检查诊断为牙内陷的22例患者,详细分析每例患者的临床表现和影像学资料,记录患牙的牙内陷类型、治疗过程及预后情况,并进行临床疗效评价。结果:本研究共纳入22例患者,包括24颗患牙,年龄10-5
目的:氯己定(CHX)因其具有较强的抗菌特性而被应用于临床工作中,且因为其长期的抗菌效能也适用于生物惰性医疗器械抗感染相关研究。然而,氯己定分子需要交联膜才能稳定地接枝在生物惰性金属表面。因而以酚胺交联涂层作为中间层,将氯己定接枝在碱热处理后的钛基表面,以期望通过该技术获得的钛表面既可以保留钛优良的细胞相容性,也具有良好的抗菌效能。本研究旨在探讨钛表面制备酚胺交联涂层并接枝氯己定的有效性,探究构建
工业机器人现常用的示教方式为示教盒示教,示教盒示教对示教人员有一定的技术要求和经验要求,且示教效率不高,而未来机器人的发展是向着人机协作方向发展的,因此工业机器人的直接拖动示教技术必然是未来工业机器人示教方式的发展方向。针对工业机器人大多无力矩传感器的基础情况,基于电流反馈的机器人直接示教技术是应用于工业机器人直接示教的常见示教方法。本文对工业机器人在免力矩传感器条件下的直接示教技术进行研究,针对
在人类远距离的对核工业、航空航天、深海探索、远程医疗等领域进行作业操作中,双边遥操作技术起到越来越重要的作用。可以帮助人类远离高危的工作,缩短人类与远端环境的距离,将人类的智能与观察扩展到远端。在遥操作中增加力反馈可以提高操纵者的感知能力,以便提升完成任务的效率。通讯环节的时延会使带有力反馈的双边遥操作系统处于不稳定的状态,而无源理论的波变量方法可以通过无源性的角度使系统稳定。本文基于无源理论的波
目的在硅橡胶类的义齿基托软衬材料表面构建仿章鱼吸盘微结构,并体外评价构建微结构对吸附力的影响,为进一步制作带有仿章鱼吸盘微结构的全口义齿基托组织面提供理论和技术支撑,探索提高全口义齿固位力的新思路。方法实验组利用摩方nano Arch S130微纳3D打印系统打印出带有仿章鱼吸盘反结构的树脂母模,用Silagum-Comfort硅橡胶软衬材料在树脂母模上翻制出带有仿章鱼吸盘微结构的硅橡胶样片,根据
四旋翼无人机由于其结构简单,机动性能强被广泛应用于军用、民用等领域。本文为了提高四旋翼无人机对环境的适应能力,受到自然界中鸟类可以改变自身臂展形状以优化自身飞行性能启发,提出了可以主动改变臂长的变形四旋翼无人机的概念。以变形机制下四旋翼无人机为研究对象,通过建立其可变臂长的动力学模型,得到臂长与转动惯量关系模型以及臂长与升力损失关系模型。以传统四旋翼无人机的动力学模型为基础,建立了变形四旋翼无人机
声波对物体的悬浮和操纵在化学、生物学、材料科学和工程中有着广泛的应用,它具有非接触、生物兼容性好、无需对微粒进行化学生物标记、装置简单易集成等优点。近年来,声悬浮技术取得了很大的进展,目前已经有了许多在空中操纵悬浮物体的声悬浮方法。声学悬浮也不再局限于小物体,现在可以用来悬浮比声波波长大的物体。对于大颗粒物体悬浮的技术一直是研究的重点,突破粒子尺寸的限制进行粒子悬浮与操控,其应用的领域和范围将更加
组织蛋白酶C(Cat C)是一种重要的半胱氨酸蛋白酶,它通过从中性粒细胞丝氨酸蛋白酶(NSPs)酶原的N末端切割二肽部分来激活炎症相关的NSPs。NSPs由多形核中性粒细胞(PMN)分泌并作为先天免疫机制的一部分。然而,活性NSPs的过度分泌和活化会导致组织损伤和炎症。由于NSPs相关炎症性疾病下的器官损伤由多种NSP蛋白酶介导,早期抑制单一NSP并非有效的手段,后面即使开发出靶向多种NSPs的抑
随着对高速高精度加工要求的提高,五轴联动机床在现代制造业中的应用越来越广泛。五轴机床的优点包括更高的材料去除率,更好的表面质量,以及更短的加工时间。然而,由于同步轴数量的增加和运动控制的复杂性,五轴机床的精度保持更加困难。评估机床加工产品品质的一个关键指标是轮廓精度,为了更有效地处理五轴大批量加工中出现的轮廓精度问题,本文将提出一套理论完善的五轴轮廓误差控制方案。针对五轴批量化加工场景,本文提出了