临近空间高超声速飞行器通常具有飞行速度快、机动能力强、轨迹规划灵活、突防能力强等独特优势,预计在未来几年将成为空天领域的主要威胁之一,然而目前尚未有成熟的针对临近空间高超声速飞行器的拦截防御系统。现有的制导律设计方法或在目标大机动时拦截效果差,或极其依赖于建立的拦截过程数学模型的精确性,因而不能解决对大机动目标的拦截制导律设计问题。随着对智能控制技术的发展,强化学习方法在解决导弹制导领域的问题中也受到了广泛的关注。强化学习是一种启发式直接自适应控制方法,使其在处理目标机动未知和目标机动较大的复杂场景拦截问题时具有自身独特的优势。针对上述考虑,本文基于强化学习方法,将其与拦截制导律设计过程相结合,提出了一种内外环结构的拦截制导律设计方法,分别在离线强化学习和在线强化学习的框架内研究了针对机动目标的拦截制导律设计问题。论文取得以下主要成果:（1）针对导弹拦截机动目标的作战场景在二维平面内建立了弹目相对运动状态数学模型,以导弹侧向加速度作为强化学习的动作空间,基于脱靶量、视线角、零控脱靶量等系统状态设计了奖励函数,建立了导弹拦截制导律设计中的强化学习环境。（2）提出了基于离线强化学习算法的导弹拦截制导律设计框架,基于内外环结构对比例导引制导律进行优化得到新的制导律。基于离线强化学习算法原理介设计了离线强化学习的奖励函数与训练方式,在拦截大机动目标场景下对制导律进行了仿真实验,验证了该制导律设计框架的有效性。（3）提出了基于在线强化学习算法的导弹拦截制导律设计框架,基于内外环结构对比例导引制导律进行实时优化得到新的制导律。提出了训练步数与指导步数的滚动学习方法,解决了学习过程的实时性问题。设计了用于逼近策略函数与价值函数的RBF神经网络结构和参数,设计了基于在线强化学习算法特点的奖励函数和训练方法,提出了一个间接判断RBF神经网络是否收敛的算法,提升了拦截过程的可靠性。在拦截大机动目标场景下对在线设计的制导律进行了仿真实验,验证了该制导律设计框架的有效性。