针对带有优先经验回放机制的深度强化学习中存在的学习效果容易受到时序误差离群值的不利影响、学习过程忽略立即回报和时间差分误差小的经验、算法难以收敛等问题提出了优先经验回放深度强化学习的改进算法并分别应用于深度确定性策略梯度算法和深度Q网络算法中。针对深度确定性策略梯度算法存在的经验利用率不高和性能差的问题,提出一种基于DDPG算法的复合优先经验回放算法(Deep Deterministic Policy Gradient with Composite Priority Experience Reply,DDPG-CPER)。利用经验的立即回报和基于经验时间差分误差分别构建优先级对经验排序,随后对经验进行复合平均排序并基于排序优先性机制求得优先级对经验采样。使用得到的经验训练学习网络从而改善Agent的学习效果,并通过对比实验验证了算法的有效性。针对深度Q网络算法忽视了立即回报低和时间差分误差小的经验以及经验过度利用导致网络产生过拟合现象的问题,提出一种带有退出机制的基于DQN算法的二次采样优先经验回放算法(Deep Q Network Algorithm with Exit Mechanism for Second Sampling Prior Experience Playback,DQN-SSPE)。首先利用经验的立即回报和基于经验时间差分误差分别构建优先级对经验排序并抽取一定数目的经验,随后将序号次序颠倒构建优先级抽取一定数目的经验。算法中每个经验被采样的总次数限定在一定数目之内,经验被采样次数超过限制则无法被再次采样。使用采样的经验训练学习网络从而提高算法的性能,并通过相应的实验进行了验证。该论文有图15幅,表4个,参考文献58篇。