将强化学习与深度学习结合的深度强化学习方法已成为人工智能领域的重要研究方向,目前在各种复杂决策控制任务中取得了举世瞩目的成果。深度强化学习方法结合了深度学习特征表征能力与强化学习通用决策控制能力,不需要复杂监督数据,就能让智能体在环境中进行自主学习。在学习过程中,如何平衡“探索与利用”的关系成为了深度强化学习研究的热点问题。传统深度强化学习算法通常采用一些相对简单且随机的探索策略,致使算法探索效率低下,收敛速度缓慢。本文着眼于大状态离散动作空间与连续动作空间下深度强化学习的探索问题,以最大置信上界探索方法为主线,从探索算法的探索效率、收敛性、平衡探索与利用关系等方面进行研究。主要包含以下三部分:（1）深度Q网络算法是深度强化学习中最常用算法。在该算法中,通常利用一种易于实现的-greedy探索策略使智能体获得更高累积奖赏,然而该策略通常存在盲目探索、收敛性差等问题,致使智能体对环境探索效率偏低。为提高智能体探索效率,使其更充分理解环境,提出一种快速收敛的最大置信上界探索方法-Fast-UCB。在控制类与视频游戏类环境下进行了相应实验,结果表明该算法有效提高了探索算法的收敛性与探索效率。（2）最大置信上界探索方法是一种复杂度低、探索效率高的算法。然而,该方法需对状态进行计数,在大状态空间中,计数操作会浪费大量内存。同时,大状态空间中重复状态数量过少,最大置信上界探索方法不能很好发挥其优势。此外,深度Q网络算法通常用于视频游戏决策,在部分视频游戏中,各个状态间差异不大,这些状态的最优动作可能相同。基于以上分析,提出一种基于感知哈希的最大置信上界探索方法--PHash-UCB。在一些状态差异不大的环境中进行了相应实验,一系列实验结果表明,该方法在高效探索的同时节省了内存资源。（3）确定性策略梯度深度强化学习算法通常使用高斯噪声或奥恩斯坦-乌伦贝克（Ornstein-Uhlenbeck,OU）噪声对环境进行探索。高斯噪声通过高斯分布生成随机噪声,探索效率较低。OU噪声通过维纳过程建立了动作与时间步联系,然而该联系对环境探索作用不大。针对确定性策略梯度算法探索效率低的问题,提出一种基于最大置信上界的多行动者探索框架-MActor-UCB。在连续动作控制环境中对该框架进行验证,实验结果表明,利用该框架后智能体的探索效率得到了显著提高。