基于深度强化学习的UCAV决策方法研究

来源 :哈尔滨工程大学 | 被引量 : 0次 | 上传用户:lynxmao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
融合作战体系的最新研究成果与认知电子战密切相关。如今,无人作战飞机(Unmanned Combat Aerial Vehicle,UCAV)作为军用领域的最佳的决策载体,仅靠人工操控已难以应对作战时的复杂态势变化。在模型端,外场试验数据的保密性导致系统的仿真结果无法从实例中获得有效的反馈;在算法端,智能决策算法的低自主水平让UCAV无法适应需求多变的对抗环境。论文将针对序贯的作战决策问题展开系统性的研究:第一,针对UCAV在弱先验下执行端对端导航决策的问题,提出了基于三维(Three-dimensional,3D)态势空间的实时运动框架。首先,采用合适的滤波算法对目标状态进行跟踪和预测,再通过分析UCAV与目标间的相对特征定义态势空间以评估机动的净空域;其次,利用人工势场法(Artificial Potential Field Method,APF)的矢量导航思想设计在约束坐标系中以匀加速度运动产生航路点的办法;最后,利用一步态势预测作为对威胁的判定,为UCAV制定跟踪和避撞决策。仿真结果表明在软着陆跟踪的前提下,该方法仅用姿态角作为输入即可实时地规划出平滑且可飞的航迹。第二,为解决传统目标搜索方法中UCAV对环境适应性差的问题,提出了结合深度强化学习(Deep Reinforcement Learning,DRL)的导航决策方法。首先,结合UCAV的欠驱动运动模型,利用Python搭建了一个完整的认知电子战框架和目标搜索环境“Explorer”;其次,以构建网络的方式,引入部分可观测的马尔科夫决策和自编码变分贝叶斯估计来拟合目标状态的表达;最后,使用特殊的奖赏赋型技巧让深度确定性梯度(Deep Deterministic Policy Gradient,DDPG)算法在搜索环境中得到适配。实验结果表明,该方法成功让智能体从潜在的状态空间中学习到最佳的控制策略,并输出端对端的连续动作决策。第三,针对经典目标跟踪决策在3D动态空间中表现出的弱稳定性,提出了基于DDPG实现的连续动作的导航决策方法。首先,在认知电子战框架中创建目标跟踪环境“Tracker”,并对环境中观测误差导致的机动偏差展开理论分析;其次,在矢量导航的启发下设计智能体的行为奖励以确保DDPG的决策输出是可靠的;最后,利用基于DRL的导航决策框架对复杂环境下的目标跟踪任务进行了仿真验证并取得很好的效果。在行为评估方面,通过对智能体的优质航迹进行模式分割,对其掌握的敏捷机动策略实现了深入剖析。第四,针对传统干扰打击时决策对先验强依赖且缺乏时间连续性的问题,提出了基于空间变化的威胁评估和干扰分配方法。首先,对干扰-雷达过程的雷达阶段和干扰技术、不同干扰技术、不同雷达阶段之间的相互作用进行理论分析;然后,基于可观测的目标特征进行威胁评估,并给出以最小化危险值为核心的目标函数;最后,提出新的演化计算方法来制定协同干扰决策以实现对目标函数的优化。在独立完成对干扰打击模块的性能评估后,与基于DRL的导航决策框架展开联合调试,由此验证UCAV在动态空间中快速制定导航对抗一体化决策的能力。
其他文献
电力通信网与电力系统的安全稳定运行具有密不可分的关系,同时,电力通信网也是实现电力网络调度自动化和管理现代化的重要基础,电力通信网中的通信电源故障将直接影响整个电
随着《国家中长期教育改革和发展规划纲要》的颁布,教育改革的不断深入,加之二胎政策的深入人心,学前教育受到前所未有的重视,也吸引越来越多的学生报考学前教育专业。各个高
<正>1 引言陶瓷产品种类繁多,应用领域十分广泛。按照国际上的惯例,整个硅酸盐领域都属于陶瓷工业的范畴。国内习惯上将陶瓷产品按用途分类,一般有日用陶瓷、建筑陶瓷、卫生
会议
作为农村党员,实践江总书记提出的“三个代表”,必须身体力行地做好以下几点:   一、植根群众、心系群众   在改革开放和发展社会主义市场经济的今天,我们每一位农村党员作为
在全面从严治党的背景下,反腐败工作已进入深化改革阶段。作为江苏省国有企业反腐败工作的主要力量之一,江苏省属国有企业纪检监察机构在组织结构设置方面的不足也日益显现。为提升我省省属国有企业反腐败工作成效,进一步完善其组织结构设置尤为重要。本文以江苏省属国有企业为研究对象,通过文献研究、案例分析、问卷调查等方式方法,对江苏省属国有企业纪检监察机构的组织结构设置现状进行了全面、系统、完整概括,客观梳理、归
随着转基因技术的不断发展,转基因生物安全问题在全球已经引起人们的广泛关注,围绕它的争论始终不断.烟草作为重要的经济作物和模式植物,也借助转基因技术平台在多个研究方向
目的:探讨消炎镇痛膏对经外周静脉置入中心静脉导管(PICC)后发生机械性静脉炎的预防和治疗效果。方法:将96例行PICC患者按置管先后顺序分为实验组和对照组各48例,实验组于置
目的探究消炎镇痛膏治疗留置针相关静脉炎的疗效。方法回顾性分析2015年1月-2018年1月经郑州市中医院诊治的留置针相关静脉炎老年患者71例的临床资料,根据治疗方法的不同分为
随着全球化的进程加剧,全球企业之间的竞争也越演越烈,而企业传统的财务流程存在诸多问题,已经不能很好地适应当今社会的发展,并逐渐演变成企业间竞争的阻力,影响了整个企业
本文就知识管理的架构、知识管理岗位的设置、知识管理的未来等方面对知识管理进行了概述。