制导律是一种为无人飞行器规划最优飞行路径的算法,常被应用与无人机和导弹等飞行器的控制系统中。现阶段的制导律多数基于比例制导律或其改进,该方法的基本原理为限制视线角的转动速率,使其与速度矢量的旋转速度成正比。随着现代科技的不断进步,更多尖端的科技也应用到了飞行器设计领域,使其机动能力大幅增强,机动方式也更加复杂多变。在这样的背景下,基于比例制导原理的控制方法在末制导阶段遇到高机动目标时暴露出了许多缺点,其对目标的复杂机动方式适应能力不足,需要人为的根据机动做出补偿,影响了方法对目标的捕获能力。随着深度强化学习在许多控制问题上的成功应用,其近年来成为了一个研究热点,此类方法的一个特点是可以省去复杂的特征工程并给出端到端的控制方案。本文针对上述问题,尝试应用深度强化学习设计全新的制导控制方法。首先针对制导拦截问题特点对其进行强化学习建模,给出了马尔科夫决策过程的详细设计。接下来将进化策略算法和DDPG算法应用到制导控制任务中,根据任务自身特点调整算法细节和智能体训练流程,使其给出符合当前任务的决策方法。在研究过程中,强化学习智能体在训练时使用了仿真环境。本文中使用的仿真环境实现细节较多,比较符合真实世界中的情况,可以提高结果的可靠性。同时本文选择的进化策略算法和DDPG算法均为深度强化学习领域中较为优秀的方法,且近年来在控制领域有许多成功的应用实例,可以满足当前制导控制任务的要求。现阶段使用的制导律多数为比例制导律或其改进方法。由于比例制导的自身特点,这些方法在面对近距离的大机动目标时打击成功率有所下降。本文的研究方法尝试跳出比例制导限制,应用深度强化学习给出一种端到端的控制方法。本文中基于进化策略算法的末制导律学习方法,其得到的制导律可以更快适应不同的目标机动且脱靶量处于合理范围,缺陷在于结果的稳定性稍差。对于本文中基于DDPG算法的末制导律学习方法,在多数实验设置下其结果优于比例制导律。根据仿真实验结果,本文给出的两种方法在实验中均有着优秀的表现。本文的研究方法可以作为一种制导律学习的通用流程,同时在智能体的训练过程中无需过多制导领域专业知识,体现了其潜在应用价值,也可以在设计新型制导律时为研究人员提供参考。