结合深度神经网络和强化学习方法的深度强化学习算法在模拟真实场景的任务上取得了令人瞩目的成就。深度强化学习算法利用深度神经网络具有的高级感知能力和强化学习算法具备的自主决策能力,在不需要对环境数据进行复杂的人工预处理情况下,能够让智能体从环境中直接进行自主学习。然而如何维持“探索和利用”的平衡成为深度强化学习领域的一个热点问题。传统深度强化学习算法采用在动作空间的抖动方式探索,导致决策效率较低,智能体不能做出合理的决策。本文着眼于大规模样本空间下,深度强化学习算法中的探索问题,将噪音机制和深度强化学习相结合,提出了使用探索噪音的深度强化学习,主要研究内容可以概括为以下三部分:(1)使用确定性策略梯度的深度强化学习算法通过奥恩斯坦-乌伦贝克(Ornstein-Uhlenbeck,OU)噪音建立起时间和动作之间的联系以保证智能体具备探索的能力。虽然OU噪音的引入让行为策略具备了随机性,但是其探索并没有合理利用到动作的一致性以及最优性。针对此问题,将策略空间的噪音引入到深度确定性策略梯度算法中,提出了一种基于阈值探索的深度确定性策略梯度算法——TE-DDPG。从理论上分析了在策略空间探索的优势、设计合理的探索时机以及探索方法,并在一系列复杂的仿真控制模拟环境下实验,证明了算法的优越性。(2)当深度强化学习算法仅采用前馈神经网络时,难以处理不同状态之间的相关性。此外,在使用具有一定深度的神经网络作为函数近似器时,微小的权重变化会使网络输出产生巨大的差异,从而导致智能体做出的决策具有一定的偏差。针对这些问题,提出了一种使用探索噪音的深度循环Q网络模型——EN-DRQN,并在一系列复杂的视频游戏上进行验证以说明模型的有效性。(3)在置信区间策略优化算法中,以参数化策略的输出作为动作的均值,利用一定的方差进行高斯抖动让智能体具备从环境中探索的能力,然而这种抖动方式仅能在产生动作的周围做微小的震荡,其探索能力不足,导致智能体和环境交互的过程中难以挖掘更加有用的信息。针对此问题,提出一种使用自适应探索噪音的置信区间策略优化算法——TRPO-AEN,该算法融合了等向同规模探索的噪音和定向可扩展的噪音,通过每个情节的累计奖赏值来协调二者之间的探索与利用。对于参数化的噪音策略,利用策略梯度的方式进行更新。一系列的实验结果表明,智能体在每情节的奖赏获得了进一步的提升。