强化学习作为机器学习中重要的分支,可以不依赖于模型而仅依靠数据就能训练比人类表现更好的控制策略。因此,强化学习在机器人领域,尤其是无人机自主导航领域在近年来受到了广泛的关注。然而,由于现有的强化学习算法通常缺乏安全性和鲁棒性,使得其很少在实际场景任务中部署使用,大多算法都仅停留在实验室测试阶段。为此,现已有的安全强化学习研究中,通常在具有安全约束条件下进行策略训练,然而,这种无人机具有高机动性,其很容易造成策略生成动作使得状态违反约束。此外,为了提升策略鲁棒性,现有较多算法通常在各种参数可能变化的取值范围内进行策略训练。然而这种方式训练策略的计算资源代价过高。针对上述问题,本文将基于碰撞风险预测及对手化的对抗攻击强化学习算法,提出一种鲁棒安全强化学习算法,以训练用于无人机导航任务的策略,并兼顾安全性和鲁棒性。主要研究内容包括以下几个方面:（1）碰撞风险预测研究。针对现有无人机导航过程中的安全性,其不仅与当前与障碍物距离有关,还与当前无人机动作有关。本文通过构造神经网络模型,并利用深度学习中二分类方法进行训练。基于预测模型,在给定状态和动作序列下,预测模型能够准确给出当前状态-动作下无人机的碰撞风险。（2）安全强化学习算法。针对具有高机动性的无人机,状态约束无法保证其自主导航的安全问题,本文基于动态碰撞风险预测模型,提出一种基于碰撞风险预测的安全强化学习。利用碰撞风险预测模型实时预测状态-动作对的碰撞风险,以优化导航策略。（3）鲁棒强化学习算法。针对无人机导航过程中模型不确定性及无人机执行器延迟两个问题带来的策略鲁棒性差问题,本文基于对手化和对抗攻击方法,提出了同时采用上述两种方式对策略进行训练,保证了策略能够同时解决上述两个问题带来的影响。（4）基于对手化的对抗攻击鲁棒安全强化学习算法研究与仿真验证。基于上述研究内容,本文结合安全性和鲁棒性,训练具有鲁棒性和安全性的策略,在完成导航任务过程中,可以规划使得无人机能够获得高累计回报奖励,以及使得无人状态保持在安全约束内的动作序列。而后,本文在仿真环境中以一个无人机导航任务为例,验证了所提出算法的安全性和鲁棒性。