深度强化学习已成为近年来的研究热点之一,其利用神经网络近似强化学习中的动作值函数使得强化学习能够解决状态空间以及动作空间巨大时学习最优策略的问题。在环境部分可观察的情况下,为了学到最优策略,一个强化学习智能体必须对环境进行探索以获取潜在可能产生最大回报的动作并掌握更多环境信息,通过合理利用这些信息和经验,智能体能学到最优策略。深度强化学习通常使用ε-greedy策略进行探索和利用,有许多前人研究和改进的探索与利用方法。这些方法主要存在两个问题:（1）这些探索方法过于依赖随机算子,导致探索不具备针对性。有些环境状态明显很差,没有探索的必要。但在这些方法下,智能体也可能花费时间步对这些状态及其后继状态进行探索,延缓了最优策略的收敛,这就产生了过度探索问题;（2）深度强化学习算法将经验无差别的保存到经验缓冲,经验缓冲满后,最早的经验将被移除,某些重要样本会被忽视。这就产生了样本利用率低的问题,导致智能体在训练初期表现较差。为解决这两个问题,本文对传统的探索与利用方法进行了改进,主要工作如下:（1）对ε-greedy方法改进并设计一个子策略记忆单元。子策略记忆单元内的子策略基于奖励降序排序,使智能体以一定的概率利用子策略记忆单元对环境进行探索。实验表明,基于最好子策略记忆的强化探索策略选择的动作更有针对性,平均奖励更高。（2）设计了基于增量式相似度的样本利用方法。计算智能体与环境交互产生的样本的新颖度,并基于样本新颖度设计了评估样本价值的指标。根据该指标计算的样本价值对样本进行采样用于训练。实验表明基于增量式相似度的样本评价方法在Playing Atari 2600的控制问题中取得了更高的奖励值,缓解了样本利用率低的问题。（3）设计了一个独立于经验缓冲的样本增强池和样本训练比率映射。样本增强池将智能体与环境交互产生的重要样本保存下来,通过计算相似度的方法对其进行样本增强。使用样本训练比率映射计算从样本增强池采样的比率,根据该比率依次从样本增强池和经验缓冲中采样,再用于训练网络。实验表明加入了样本增强池和样本训练比映射的算法性能有了较大提高,缓解了探索与利用平衡问题。