基于多目标深度增强学习的无人驾驶船舶行为决策

来源 :大连海事大学 | 被引量 : 0次 | 上传用户:xiao0mai
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本研究关注的是不确定环境下无人驾驶船舶的自适应航行问题。为解决无人驾驶船舶的自主航行行为决策,提出了一种基于深度增强学习的无人驾驶船舶行为决策模型。该模型主要航行态势理解层和驾驶行为决策层,航行态势理解层主要是结合海上避碰规则对子场景进行量化建模,驾驶行为决策层是学习被量化的子场景中的环境状态以训练驾驶策略。采用deep Q-learning分别就环境模型、船舶动作空间、激励函数和搜索策略设计了基于马尔科夫决策过程的驾驶行为决策算法以实现无人驾驶船舶的智能避障与自主航行;最后,基于Python和Pygame设计了深度增强学习(Deep Reinforcement Learning,DRL)和引入人工势场(Artificial potential field,APF)改进深度增强学习(APF-DRL)算法的两组验证实验,分别从收敛趋势、迭代路径和避碰效果等方面分析实验数据。实验结果表明APF-DRL算法能更好地安全避让障碍物和决策驾驶行为,进一步表明了本文设计的算法的有效性和适用性。本研究的创新性成果如下:(1)应用本体论,从实体类与属性两方面对多源异构信息进行分析梳理,设计无人驾驶船舶航行态势本体概念模型进行航行态势理解建模,结合国际海上避碰规则对划分的场景进行量化处理,并建立用于避碰决策Prolog规则库。(2)设计无人驾驶船舶多目标增强学习行为决策算法。其中,具体设计了离散化的无人驾驶船舶行为决策空间、由安全避障及接近目标点组成的激励函数、行为选择策略、状态值函数等要素,实现了不确定环境下无人驾驶船舶航行行为决策。(3)引入APF的引力场概念,设计了 APF-DRL行为决策算法以改进基于DRL的行为决策算法迭代速度慢及易陷入局部迭代等问题。
其他文献
目的:Nel-like分子-1(NELL-1)是一种新型生长因子,可诱导成骨细胞的分化和骨再生。近期有研究表明,NELL-1蛋白可协同增加骨形成蛋白-2(BMP2)的骨形成及骨诱导作用,并抑制由BM
腹腔镜是一项有别于传统手术的新的手术方式,其具有手术创伤小,痛苦轻,术后恢复快,美容效果好等优点。随着微创外科的迅速发展,腹腔镜手术越来成为一项热门的技术运用于普外科、肝
中国是多民族聚集的国家,民族特色浓郁和地异风貌的独特,组合成了独一无二的特色人文景观现象。艺术家们在广阔的祖国大地上寻找漆画创作题材,可谓题材创作取之不尽。当今漆
随着人口老龄化趋势日益严峻,中国作为一个发展中国家,未富先老无疑增加了解决老龄化问题的难度。单纯依靠社会和机构养老目前很难满足现实需求,倡导老年人建立积极的生活方、做好自我保健、主动预防疾病更为重要。城市公共空间因其良好的生态环境、丰富的活动设施,而成为老年群体进行社会交往以及休闲活动的重要场合,因此提供健康的适合老年人参与的城市活动空间,具有迫切的现实意义。本文以健康理论为导向,反思城市公共空间
修编地方志是一项传世工程。十多年来,林林总总,先后立起一座又一座丰碑。最近问世的《综合经济志》,无疑更有其独特的重要性。这是因为,我省除上百部市、县志外,在上百部省
本文利用NCEP全球1°×1°FNL分析资料,归类研究2000—2005年内21例西太平洋西行台风在影响福建近海海区时,其风场分布特点。 选取0313台风“杜鹃”和0513台风“泰利”,使
该文用一实全好用UML和Rational Rose实现面向对象的以C/S结构设计的方法。
采用硫酸亚铁曝气沉降初级化学处理和ClO2二级深度氧化处理相结合的模式,处理医院排放的高浓度含氰废水。试验表明,初级化学处理中,FeS04·7H20的加入量为1.2g/L,搅拌强度为80r
期刊
近年来,开发可再生能源已成为诸国能源发展战略的重要组成部分,而利用可再生能源发电的过程中存在不可忽视的资源和环境代价。如生物质燃料会消耗大量水资源,引起水土流失。从生产角度看,可再生能源具有低排放等优点,但从消费角度,可再生能源的开发和利用从供应链视角来看会引起直接/间接的资源消耗和污染物排放,亟待研究。目前基于消费角度的可再生能源部门引起的环境排放和资源消耗量研究较为缺乏,对于其驱动因素的研究也