深度强化学习算法将传统强化学习与深度学习两者结合,是目前解决高维决策任务的一类典型算法,已在各领域广泛应用并取得了突破性进展。经验回放机制是深度强化学习中一项关键技术,可以在消除时序样本相关性的同时提高经验样本的利用率。传统的经验回放方法通过对经验样本进行统一存储并随机采样来完成智能体的训练过程,未考虑到不同重要性程度的经验样本对于模型训练的不同影响。本文着眼于提高基于经验回放机制的深度强化学习算法性能,从经验样本的存储过程和采样过程两个角度出发,提出以下三方面研究内容:（1）强化学习中情节累积回报是对智能体（Agent）一系列动作的完整评价,传统的经验回放方法未考虑到情节累积回报对于网络训练的影响。基于优先级的经验回放方法由于在网络训练的每个阶段都需要对经验样本进行优先级更新,在一定程度上降低了算法的训练效率。针对以上问题,考虑经验样本的存储过程,将情节累积回报作为样本分类依据,提出一种基于情节分类经验回放的深度确定性策略梯度算法。实验证明该算法通过高效利用过去较为成功的经验,在多种连续控制任务中表现优异。（2）高估偏差是Q学习的一个特性,在每一次算法更新中这种偏差会不断累积,深度确定性策略梯度算法中也存在着累积误差带来的高估偏差问题。高估偏差问题增加了算法收敛到次优策略的可能,智能体根据次优策略与环境交互得到的经验样本准确性较低,利用存在误差的经验样本进行模型训练会导致算法的性能表现不佳。为了减少高估偏差对于模型训练的影响,提出一种基于截断双评论家的情节分类经验回放算法。实验证明该算法在提高经验样本准确度的基础上能够有效提升算法性能。（3）利用经验缓冲池中经验样本训练网络模型,存在当前策略与过往经验所采用策略差异过大的问题,在基于策略梯度的系列算法中往往会导致网络训练的波动性较大,算法不稳定。在基于截断双评论家的情节分类经验回放算法中,由于使用了双评论家网络参与模型训练,这种网络训练的波动被进一步增大,算法的稳定性降低。针对以上问题,从经验样本的采样过程出发,提出一种基于新近与历史经验分类的截断双评论家策略梯度算法。通过KL散度限制策略的变化程度以及跳过策略相差过大的梯度更新来缓解两种策略相差过大的问题,实验结果表明该算法在多种连续控制任务中性能表现更佳。