基于深度强化学习的路径规划方法及应用

来源 :山东师范大学 | 被引量 : 0次 | 上传用户:poppytao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年,人群疏散仿真已经成为公共安全领域的研究热点。尤其是在人群分布集中的公共场所内,紧急情况发生时个人的犹豫不决和恐慌不定将导致行人发生推挤,踩踏他人等安全隐患。因此,合理规划逃生路径对疏散安全至关重要。为了保障逃生路线的合理性,需要人群进行疏散演练。传统的人群疏散演习费时费力,且难以规划好最佳疏散路径。越来越多的学者开始关注人群疏散仿真及其建模工作。计算机仿真技术利用推演的形式探究人群疏散中的路径规律,对建筑设计和应急管理提供理论指导,对防范公共事故,保障公共安全起到重大意义。因此,应用计算机仿真方法研究紧急情况下公共场所的人群疏散问题是十分必要的。对行人运动进行合理的路径规划避免破坏性行为发生,是人群疏散仿真研究的核心问题。针对目前大多数路径规划方法在实际应用时,常常面临复杂环境,存在效率低与计算复杂等问题,尤其是应用于人群疏散仿真时,忽略了行人之间的聚集与分组现象以及疏散过程中的运动细节,如行人的队列形成,出口选择等。因此,本文提出了一个基于深度强化学习的高效路径规划方法并应用于人群疏散仿真。首先提出了基于拥塞检测的多智能体强化学习模型,该模型充分考虑到现实生活中的“聚集-分组”效应,在检测出口拥塞程度的基础上定义强化学习元素,以较好地体现出人群关系和出口拥塞对路径规划的影响,使人群的疏散效率更加高效。此外,提出了基于深度强化学习的路径规划算法,上层利用改进的多智能体深度确定性策略梯度(Improved Multi-Agent Deep Deterministic Policy Gradient,IMADDPG)算法规划宏观路径,结合下层的相对速度障碍法(Reciprocal Velocity Obstacle,RVO)实现碰撞避免与组内跟随。最后,将此路径规划方法应用于人群疏散仿真中,通过不同实验证明了上述方法能够提高寻路以及疏散效率,为建筑设计,灾难应急管理等提供可视化分析与理论指导。本文的主要工作及创新点如下:(1)针对现有的疏散研究大多忽略人群聚集,分组现象以及出口选择等问题,提出了基于拥塞检测的多智能体强化学习模型。第一步,提出结合K-means算法思想的分组计算方法,充分考虑到现实生活中的“聚集-分组”效应,根据个体间距离对人群进行分组,根据簇心选择组内引领者,再现人群中的“聚集-分组”现象;第二步,将引领者进行智能体建模;第三步,通过比较拥塞检测区内引领者智能体的速度值,判定出口处拥塞情况,并将拥塞情况设计到强化学习的奖励函数中。该模型能够很好体现出人群关系和出口拥塞程度对路径规划的影响,实现场景内行人的出口选择,使人群的疏散效率更加高效。(2)针对传统路径规划算法应用于复杂场景时存在效率低与计算复杂等问题,提出了基于IMADDPG算法的路径规划方法。IMADDPG在已有的多智能体深度确定性策略梯度(Multi-Agent Deep Deterministic Policy Gradient,MADDPG)算法基础上将添加额外的新网络,在新网络中使用平均场理论减少额外训练样本的复杂性,它能更好地完成协同规划全局路径的任务。该方法上层执行IMADDPG算法为引领者智能体训练全局路径,并将训练好的路径分享给组内跟随者;下层执行RVO算法为跟随者实现路径跟随与局部碰撞避免。该方法提高了群体对环境信息的感知性能,更加高效地为人群疏散仿真中的行人规划疏散路径。(3)构建三维疏散仿真平台。该平台集仿真控制功能,摄像机控制功能以及渲染输出功能于一体。通过分析真实感渲染的结果,可知本文提出的路径规划方法应用于人群疏散仿真时具有更高效率,实现快速的行人疏散,能够仿真出口选择以及人群队列等运动行为。仿真效果对于指导和研究人群疏散具有重要意义。
其他文献
临床护理工作中手背静脉输液及伤口敷料通常用橡皮膏或脱敏胶布固定,但用后经常留下粘痕,不易除净,容易导致皮肤发生过敏反应及诱发伤口感染.尤其是夏天.胶布粘性更大;而静脉留置针
基于新一轮课程改革背景,围绕全面育人的发展目标,关于学生自主学习能力的培养又有了更高的要求,其目的是使学生的学习方式由被动转向主动,充分保证学生在学习中的主体性地位,进而更好地发挥教师的引导作用。作为一名民办高中的一线教师,在新课程改革的背景下对于不同层次学生学习能力的培养十分关注,通过收集、整理有关学生数学自主学习能力现状的文献,学习有关高中数学自主学习的理论。本文主要分成五部分进行研究阐述,第
妊娠高血压综合征(PIH,妊高征)是妊娠期特有的并发症,严重危害母婴健康。其基本病理生理改变是全身小动脉痉挛,临床表现为高血压、水肿、蛋白尿。妊高征病因及发病机制尚未阐
针对信息密度评价采样成像系统性能理论依据不足的问题,文章提出通过对不同成像系统的信息密度和所成图像的质量评价参量进行一致性分析,来研究信息密度评价采样成像系统性能的合理性。信息密度是融合了系统调制传递函数、信噪比和混叠的综合成像质量表征参量,文章对成像系统的信息密度计算式进行了推导,在此基础上介绍了计算信息密度所需各分量的数学模型,进而对仿真流程进行了描述。仿真实验结果表明,成像系统信息密度值随着
随着大型综合商业体的迅速发展,商场导购终端及其界面设计的需求也随之呈快速递增态势。随之而来的设计伦理问题不断涌现,主要体现在界面设计中存在大量的低俗、虚假、不符合
应急断离结构主要用于飞机的重要连接部位,如发动机吊挂接头、起落架接头及襟翼连接接头等,其结构设计及适航验证是民用飞机机体结构设计的关键技术。为表明民用飞机适航性,
目的:探讨运用细尾刷刮痧工具和传统中药对大鼠乳腺增生病模型的影响和作用机制。方法:将50只SD雌性大鼠随机分为空白对照组(简称空白组)、模型组、中药组、刮痧组和刮痧中药结