在过去的几年里,深度强化学习（Deep Reinforcement Learning,DRL）技术在许多领域都得到了应用,与此同时,该技术的安全问题受到专家学者的广泛关注,研究对DRL的攻击和提高DRL鲁棒性成为了一个全新的课题。深度强化学习是深度学习结合强化学习形成的针对过程决策问题的方法,在学习阶段,它首先建立一个深度神经网络,该网络通过收集智能体在和环境互动过程中收集到的信息进行学习,然后用学习到的模型对当前所处状态各个动作的长期价值进行评估,并根据探索策略选择其中最有价值的一个动作,最后将该动作反馈到环境中去并收集最新的信息。尽管深度强化学习在许多应用场景中展现出了超过人类的性能度和决策正确率,但最近的研究表明,深度强化学习极容易受到攻击者的非法攻击,攻击使智能体学习到一个错误的策略或者对当前状态做出错误的判断。在一些关键性的安全领域,深度强化学习的脆弱性可能会造成巨大的经济损失,甚至对人身安全造成威胁。为了保证DRL在各个领域获得应用的同时保证它受到攻击后不会造成危害,充分研究深度强化学习的对抗攻击、设计更好的防御方法是非常有意义的一项工作,本文针对深度强化学习结合探索机制提出不同的对抗攻击方法。首先,本文总结了已有的深度强化学习对抗攻击方法和探索方法,在此基础上,利用探索方法在白盒环境下针对深度强化学习训练时期回报中毒攻击进行研究,并通过实验对该方法的有效性进行了深入探讨。同时也进行了黑盒环境下对抗深度强化学习攻击的研究,攻击者在黑盒环境下仅能观察到智能体和环境的互动信息,该攻击方法在智能体训练时期结合探索方法对智能体的回报进行攻击。本论文主要研究内容包括以下两个方面:1.提出了一种基于E-value的对抗深度强化学习方法。训练时期的回报攻击是通过对智能体接收到的环境回报加以扰动来让智能体学习到一个错误的策略。为了使智能体对真实环境的收敛产生偏差的同时减少攻击次数和扰动大小,设计出一个良好的攻击方法非常有必要。因而我们提出了一种新颖的回报中毒对抗攻击方法,该方法采用强化学习的探索策略有效地对智能体进行攻击。攻击者首先建立一个深度神经网络来获取E值来代表智能体在学习过程中对环境中的每个状态-动作对的探索值,并通过E值来确定攻击的时机和加入扰动的大小,以生成针对回报的攻击样本。我们在不同环境中进行了大量实验,实验结果证明基于E-value的中毒回报攻击可以有效地减少攻击次数及扰动大小。2.提出了一种基于后继表示（Successor Representation,SR）的对抗深度强化学习方法。在过去针对DRL对抗攻击的研究中,主要方向集中在白盒环境下进行的攻击,即攻击者可以获取被攻击智能体模型内部网络的层次和权重,然而,多数情况下攻击者无法获取这些信息。在本文中,我们提出了一种黑盒环境下针对训练时期的回报中毒对抗攻击方法,该方法利用DRL探索策略有效地对智能体进行攻击。攻击者在攻击前学习利用SR模型对环境进行学习,以获取各个状态之间的后继联系以及每个状态中动作对应的及时回报,并通过后继联系信息和回报信息对攻击的时机和攻击的方向进行判断,确定相应扰动的大小。通过Gym环境的实验证明基于SR的中毒回报攻击具有良好的性能,并且可以有效地减少攻击次数及扰动大小。通过以上两种方法,我们不仅解决了攻击者攻击时机的选择问题,最大化每次攻击的攻击效果,还增加了黑盒的算法,增加了攻击的可行性。