基于深度强化学习的虚拟人群路径规划研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:download1006
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,虚拟现实技术的日益成熟和计算机运算性能的稳健提升,为虚拟人群仿真技术的研究与应用奠定了坚实的基础。虚拟人群仿真技术主要包括实时绘制技术、运动控制技术和行为控制技术,其中,路径规划技术为运动控制中的关键技术之一,且体现了人类的基础行为能力,路径规划技术便成为了人群仿真中的研究热点之一。然而,已有的虚拟人群路径规划方法大多以环境已知为前提条件,无法满足虚拟人群自主学习和适应不确定性环境的要求,即使采用强化学习方法也易引发维数灾难,深度强化学习的兴起则为路径规划技术的研究带来了新的契机,因此,基于深度强化学习算法,对虚拟人群在未知环境中的路径规划进行研究,具有重要的理论意义和工程应用价值。本文的主要研究内容如下:(1)设计了策略学习过程中的奖励函数,融合了一种基于VO思想的动态避碰算法。将碰撞圆锥思想延伸为碰撞概率,用于预测与动态障碍物之间的碰撞,能够使虚拟人及早地规避与动态障碍物之间的碰撞,奖励函数中还考虑了局部避碰与全局规划的优先级,并对找寻目标时间过长给予惩罚,能够较好地切合路径规划需求,提高策略训练效率。(2)设计了基于PPO算法的深度强化学习策略网络。网络的中间层引入了长短期记忆网络,输入层(状态)包括环境信息、虚拟人的运动信息以及各虚拟人的目标,环境信息的表征中引入了射线投射法,输出层输出的动作具有连续性特征,与人类的运动特征相符,并实现了虚拟人群之间策略共享,保证了一个策略可以满足所有虚拟人的寻路需求。(3)研究了一种两阶段的群体策略学习方法。以第一个阶段应用PPO算法训练出的具备了路径规划能力的虚拟人为领导者,在第二阶段中结合RVO算法各自带领一定数量人群向目标移动,实现了对多虚拟人组的路径规划。(4)构建了基于深度强化学习的虚拟人群路径规划仿真平台。基于Unity搭建了仿真平台,并通过外部的Python API实现了PPO算法,应用本文设计的路径规划方法开展了相关实验,实现了虚拟人群在未知环境下的路径规划,仿真结果表明了该方法的有效性,与现有的其他方法相比具备一定的优势。
其他文献
心脏功能分析在临床心脏病学中对患者管理、疾病诊断、风险评估和治疗决策起着重要作用。心脏磁共振(Cardiac Magnetic Resonance,CMR)图像主要用于心功能评估和心血管疾病诊断。CMR图像被认为是进行非侵入性心功能分析、估算临床参数的金标准。从医学图像中描绘重要的器官和结构常是估算临床参数、疾病诊断、预后预测和制定手术计划的主要步骤。在临床诊断中,放射科医生通过手动或半自动绘制包
随着无线网络技术(如5G)的快速发展和高服务质量(Qo S)需求的增加,对网络资源的有效管理变得越来越重要。为了提高业务调度的Qo S和网络资源利用率,许多学者进行了大量研究。实现这一目标的一种有效方法是对网络流量进行队列管理和调度。然而,队列管理调度的排队特性有一个隐含的缺点。由于需要通过检查网络链路上的剩余带宽来实时计算网络流的可行路由,在顺序处理队列中的流量时,计算可行路由可能很耗时。值得注
人们的交通出行发展从传统的燃油汽车转向新能源汽车,并向共享化和智能化发展,特别近年来以深度学习为主的人工智能技术的发展带动了自动驾驶汽车技术的发展和落地,深度学习算法在图像和自然语言处理等领域展现出强大的性能和泛化能力,为自动驾驶汽车的感知定位系统提供了强有力的解决方案。同时激光雷达器件的发展,感知距离越来越远,激光雷达线束也越来越多,分辨率也越来越高,赋予了自动驾驶汽车等智能移动机器人系统直接感
感知外部环境是机器人实现智能化控制和交互的前提,是机器人完成精细操作的基础。触觉作为机器人系统中一种重要的传感模态,它不仅反映了机器人与环境的交互情况,也刻画和描述了所接触物体的物理属性和空间信息。近20年来,传感器技术快速发展,柔性阵列式的、高敏的、高分辨率的触觉传感器已逐步成为新型智能机器人灵巧手的“标配”,研究如何获取、理解和利用这些触觉信息,对于提高机器人环境感知能力和进行灵巧手精细操作具
恶劣海况下无人船的对准技术,作为无人船系统导航与制导技术的重要前提,是保证无人船在恶劣海况下自主航行以及正常工作的关键。为解决自主和智能化的无人船系统在对准中面对不确定干扰时,要求具有强健自适应调节能力的问题,本文结合无人船在恶劣海况下的运动学特性,基于大失准角的运动背景,对恶劣海况下无人船对准技术进行研究,确定不同海况等级以及海浪复杂干扰下的初始对准技术方案,保证恶劣海况下无人船的对准性能。本文
随着机器人领域的不断发展,机器人的导航定位问题成为了当下的研究热点。本文针对室内场景下的移动机器人平台,设计实现了基于单目相机的视觉里程计算法,并进行了实验系统的搭建。主要研究内容如下:(1)研究了针孔相机模型与相机畸变模型,并推导了相关的模型参数。针对传统相机标定方法精度不高的问题,在张氏标定法的基础上,研究了一种基于改进Harris角点检测算法的相机标定方法,进一步提高提取的角点坐标精度,为后
碳纤维复合芯导线是一种应用广泛的新型导线,具有较好的抗拉强度与较差的抗剪强度,易在非规范施工过程中被卡线器等牵引装备损伤,形成用电安全隐患。近年来,因内部芯棒受损导致的断线事故时有发生,严重威胁电网运行安全。现有的巡检探伤技术受限于无损探伤设备的重量体积、对碳纤维导线适用性等因素,均无法对已在网运行的碳纤维导线内部碳纤维芯的损伤进行有效检测。因此,设计一种新型碳纤维导线探伤巡检机器人具有重大和迫切
工业机器人作为智能制造装备的代表,高端制造业发展的焦点,其研发、制造与应用是衡量一个国家科技创新水平的重要标志。目前工业机器人重复定位精度虽能达到0.01mm~0.1mm,但其绝对定位精度仅为毫米级。并且研究表明工业机器人末端刚度仅为数控机床的1/50,其绝对定位精度受负载的影响较大,无法满足高端制造领域的任务需求。因此,本文以Staubli TX60型六轴工业机器人为研究对象,着重开展面向高端制
随着视频传输技术的深入发展,基于无线视频监控的无人值守油田工作方式已经成为现代化油田生产管理的主流趋势。ZigBee技术作为一种无线通信技术,已广泛应用于各个领域,将ZigBee技术应用到采油机监控视频领域,发挥其低成本和低功耗的优势,具有良好的应用前景。本文首先分析ZigBee网络技术,针对视频传输的数据量大和ZigBee传输的低带宽之间的矛盾,提出以设计多射频多信道网络为核心,结合H.264视
随着中国制造2025战略的提出,中国正处于从大国到工业强国的重要转型时期,伴随着互联网时代浪潮,制造业对于生产设备的自动化、智能化要求越来越高。随着传感器技术、人工智能、运动控制算法等先进技术的快速发展,机器人作为代替人工作业的重要智能设备,越来越多的应用于先进制造业中,极大的提高了工业生产效率和品质。打磨作业是工业生产中必不可少的一环,本文基于我国打磨行业现状,从实际应用的角度,针对小型工件的打