在深度强化学习的方法中,通常会采用经验回放,目的在于提高数据利用效率并打破经验之间的时序相关性,缓解在复杂任务中容易出现的经验遗忘现象。比较常用的经验回放方法为了稳定性往往会在经验选择阶段采用随机均匀采样的方法,而这种采样形式一方面受经验时序关系的影响,会使得采样不均衡,导致后期经验采样频次过低,不利于提升智能体学习过程的收敛速度。另一方面它忽略了不同经验之间在学习价值上的差异性,无法实现对经验的充分利用。尤其是许多在训练过程中产生的“近”策略经验,虽然它们十分有益于进一步提升策略,但受限于上述缺陷,它们难以发挥作用。本文主要针对经验池属性值设置以及经验采样这两方面,对于经验回放过程展开细致的研究和改进工作。本文工作内容总结如下:·随机均匀采样模式下的采样概率研究。本文从最常见的随机均匀采样模式出发,给出了经验采样概率的通用计算公式,用于直观描述经验在智能体的采样训练过程中的利用率,从理论上分析了经验回放中影响采样均衡性的各项因素。通过对该通用公式的进一步分析,证实了在随机均匀采样模式下,后期经验存在严重的欠利用现象,这不利于智能体的策略效果提升。而且,由于经验回放中对于经验多样性的要求,往往会设置比较大的经验池尺寸来尽可能多地存储经验,这会导致后半部分经验的采样概率进一步降低,加剧了这一欠利用现象。适当地增大采样批次大小会缓解这一问题,但由于时间开销以及经验之间的采样频次差距被拉大的负面影响,其作用有限。关于采样概率的研究增强了对于经验回放机制的客观认识,也为经验回放属性设计以及采样方法的改进提供了指导方向。·基于采样频次的经验采样策略研究。为了解决随机均匀采样模式下出现的后期经验欠利用问题,本文以采样频次为优先标准,在训练批次选择中优先选取采样频次较低的经验,以此来平衡不同时期经验的利用率。为了实现更好的平衡效果以及更细致地控制经验的优先级程度,本文提出了三种基于采样频次的经验选择策略:绝对优先级、相对优先级和概率优先级。并且,通过实验对比不同策略的稳定性以及在实验任务上的性能表现,最终发现概率优先级的方式综合表现最佳,优于其他两种方式以及随机均匀采样模式,能够平衡好经验利用的同时又能保证策略平稳收敛。·基于相似性的经验采样策略研究。该研究目的在于进一步探索经验采样方法在经验回放改进中的潜力。目前部分研究工作表明在经验采样批次中加入在策略经验或者“近”策略经验有利于提升策略收敛结果。因此,本文利用自组织映射神经网络对于经验进行聚类分析,其中与在策略经验同属一个类别的经验与当前策略具有较高的相关性,会更有利于智能体决策能力的提高,因此会在此类别中采样经验用于训练。本文设计了实验验证了这一聚类方法的有效性以及经验之间确实存在一定的相似性。·融合经验回放方法SFSER（Experience Replay Based on Sampling Frequency and Similarity）。该融合经验回放方法将上述基于采样频次的经验采样策略和基于相似性的经验采样策略有效结合,通过对二者采样数量上的分配来使其相辅相成,能够让经验回放对于经验的利用更加充分,使得经验回放在强化学习算法中能发挥更显著的效果。本文在Mujoco环境上针对多个连续动作域任务进行了测试,结果表明本文的融合经验回放方法优于其他用于对比的经验回放方法,训练过程更加稳定,能够显著地提高采样效率以及最终的策略效果。本文的工作丰富了对于经验回放方法的理论认识,得到了对于经验池设计的指导性结论。同时,本文提出的改进方法不仅弥补了经验回放本身采样不均衡的缺陷,同时,也进一步提高了经验采样在强化学习中的积极作用。