JZJ站位间转运策略强化学习方法研究与实现

来源 :北京交通大学 | 被引量 : 1次 | 上传用户:tcliany
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前国内外大型船舶平台越来越多地依赖计算机仿真技术对作战问题进行研究,而JZJ作为大型船舶的直接战斗力,其在作战任务中站位间的转运效率与策略对战斗力有着很大的影响。为了减少人为操作的工作量,提高某大型军工演示系统的智能性,论文借助深度强化学习的思路,而没有使用传统的人工规划路径的方式。论文通过大量的算法训练,使程序自动训练出符合JZJ运动学模型并满足出库、入库JZJ位姿要求的站位间转运策略,并将转运策略应用在了实际的作战仿真演示系统中。论文首先设计实现二维场景建模工具,可以将原始仿真甲板环境迁移到强化学习环境中,为算法中场景和JZJ建模,对场景进行基于甲板实体布局的区域划分,并设计符合JZJ运动学模型的训练单位;之后根据构建强化学习中基本元素的不同方式,提出两种基于深度强化学习的研究方法,分别是动态栅格先直后曲的方法和角度区间内随机游走的方法。这两种方法分别根据JZJ最小转弯半径动态栅格化场景和求解JZJ转运时的单步转向角度区间来保证最终的转运策略符合JZJ运动学规范;接下来针对每一个研究方法,论文设计实现了两种不同的基于强化学习方法的站位间转运策略训练算法,在栅格化方法中分别使用Q-Learning和Sarsa(lambda)的算法思想得到转运的折线路径,然后使用论文中所完成的折线变曲线通用算法获得较优的转运策略。在另一个研究方法中,论文设计实现了基于DQN和DDPG的深度强化学习算法,通过算法对JZJ在甲板场景中的自由游走过程的大量训练,学习出相对较优的站位间转运策略;最后通过大量实验对两种研究方法中不同强化学习算法的训练效率与训练效果进行对比,并设计路径可视化评价工具对算法结果进行直观展示,最终建立策略评价函数对转运策略中的七个因素进行归一化评价。经过大量实验与项目中的实际应用,论文设计并实现的基于深度强化学习的站位间转运策略算法满足仿真中各方面的需求,大大减少了人工编排路径的工作量,有效提升了原有仿真演示系统的智能性。
其他文献
重庆城乡统筹发展将产生数以百万计的失地农民。城乡统筹改革要让农民变为市民,其中很重要的就是要解决这些失地农民的就业问题。而解决失地农民的就业问题,首先就要对他们进
在国家大力推行素质教育的过程中,美育的地位不断上升,成为必不可少的一环。美育对学生正确的审美观的形成、个人修养的提高和人格的完善具有十分重要的作用。随着国际竞争的
张之洞在主政湖北的18年间,为大力推行“湖北新政”,一直紧抓“出版”为改造湖北制造舆论。一方面他创办并支持湖北地方出版,在湖北主持-T0刻史志、编译西书、创办报刊并扩充出
电子商务主要的市场份额还是集中在几个大型电子商务企业手中,因为它们投入大,知名度高,值得信赖。站点卫士的三位一体的验证机制,也让那些饱受钓鱼网站、欺诈网站之苦的知名电子商务网站找到了解决办法。    慧聪事件    “这个事情不太好说,太敏感了。”宁波慧聪网办公室的人员谢绝了记者的采访请求,甚至连自己姓什么都不肯说。  宁波慧聪网事件缘于9月4日,当天一个消息四处散布——宁波慧聪即将倒闭,届时将关
目的:为掌握福安市畲药资源,了解地方特色畲药的基原及生药鉴别特征,从而为福安市地方特色畲药的研发与推广提供基础。方法:以福安市第四次中药资源普查为契机,采用野生资源调查、市场调查、栽培基地调查相结合的方法调查分析福安的畲药资源。以植物形态解剖、传统药材性状鉴定、显微鉴定以及偏光显微观察等方法,对地方特色畲药进行品种鉴定及鉴别特征的总结。结果:本次调查到福安市野生畲药资源53科90属102种,其中,
以某款发动机进气歧管为研究对象,用STAR-CCM+软件对进气歧管初始方案与优化方案的质量流量、均匀度及流量系数等进行分析,通过增大进管与谐振腔的对吹面积、调整谐振腔与歧
随着高层住宅的增多,相应的建筑物高空拋物案件也逐渐增多。为解决此问题,我国的《侵权责任法》第87条规定了建筑物高空拋物侵权责任,但是该法律条文规定的并不明确,存在着很大的解释空间,这给法官的裁判带来一些困难,导致法院在处理该类案件的时候,出现同案不同判的情况。并且该法律规定存在着偏离法学基本理论等诸多问题,现在要求修改此项法律规定的呼声越来越高,当前值此《中华人民共和国民法典》通过之际,本文就此提