强化学习问题通常可以构建为马尔科夫决策进程,是一种序贯决策问题。强化学习中,智能体通过与环境不断交互,并从中获取奖赏来进行自主学习。近几年,强化学习与深度学习、元学习等结合形成的新算法在人工智能领域十分流行。然而,强化学习中一直以来都存在一个重大的挑战,探索与利用的平衡,这二者之间的平衡对于算法的性能有很大的影响。针对这一问题,本文提出了多种权衡探索与利用的强化学习算法,并分别在深度强化学习和元强化学习中进行研究和分析。主要研究内容可以概括为以下三个部分:（1）经验重放机制是深度强化学习中一种重要技术,在提高样本利用率的同时,还提升了算法稳定性。但是在传统经验重放机制中,使用先进先出方法来保留替换新旧样本,随着训练过程的进行,后期经验池中的样本会集中于环境某一局部空间,前期部分样本被替换后无法恢复,由于神经网络的过拟合特性,导致灾难性遗忘问题的出现。从而使得智能体只能利用局部样本,缺乏对整体空间的探索,最终导致算法性能下降。针对该问题,利用蓄水池采样方法,本文提出了一种基于梯度惩罚项的双经验池框架。该框架将原始经验池分为两个,根据动作性质将样本分为探索性质样本和利用性质样本,分别存储在对应经验池中,本文提出一个自适应调节的采样比来控制训练样本的分布,进一步提高智能体对样本的利用率。同时加入梯度惩罚项,防止新旧策略偏差过大引起的性能下降,使得智能体进行有效探索,该框架可与深度强化学习算法相结合,有效缓解灾难性遗忘问题,并提升算法的泛化性能。（2）在强化学习中策略的更新主要依赖于奖赏函数的设置,智能体根据环境所给的奖赏值来进行决策,从而快速适应环境学习到最优策略。但是,在复杂环境或奖赏值较为稀疏的环境中正向奖赏值难以获得,智能体从环境中无法获取可利用的信息来进行自主学习。因此利用无奖赏函数的思想,在上述双经验池框架中引入一个动作值评估网络,使得智能体可以有效利用环境信息,快速学习到最优策略。此外,最优策略的学习需要对整个环境进行探索,因此引入一个探索偏置项,引导智能体在复杂环境中可以更好地进行探索,从而发现环境中潜在奖赏值最大的状态,进一步最大化累积回报。通过结合动作值评估网络和探索偏置项,在更为精准评估当前动作价值的同时,还提高了算法性能。（3）元学习与强化学习的结合,使得强化学习智能体在处理一系列相似的强化学习问题时,可以利用早期学习到的知识快速适应新任务,并只需从新环境中收集少量数据通过元策略微调就可以很快学习到最优策略。其中如何利用已学知识来指导智能体进行有益探索十分重要。因此将上述双经验池框架嵌入到元强化学习算法中,从双经验池中采集样本训练一个元智能体,用于指导智能体更好地探索与利用,从而使得最终生成的策略可以很好地处理新任务,提高算法的泛化性能。