深度强化学习近年来在围棋算法、计算机游戏、机器人仿真控制等存在巨大状态空间的应用场景下取得了很大的突破，这得益于深度神经网络的函数逼近能力，也依赖于模拟器和计算资源，因为模拟器可以在计算资源足够的情况下快速并且近乎无限地生成智能体与环境交互的数据。但是在许多实际应用场景下，例如推荐系统、物流管理、能源系统优化、机器人实际控制中，数据采集是高成本且低频率的，从而导致数据稀缺。因此，若想使得(深度)强化学习真正应用到现实世界的众多应用场景，对数据高效利用的强化学习算法是不可或缺的。
　　针对智能体可以与环境进行交互，但新数据采集的速度较慢这一数据稀缺场景，算法必须能够高效利用异策略数据，即智能体历史上与环境交互产生的数据。传统策略优化算法在同时利用神经网络函数近似和异策略数据时，容易产生过早收敛或不稳定甚至向较差方向收敛的情况。为了解决以上问题，可以通过增广Bregman散度来进行策略优化，称为散度增广策略优化。Bregman散度在两个策略对应的状态-动作联合分布之间计算，而不仅仅在条件动作分布上计算。计算联合分布的散度提供了给策略参数更新提供了更好的方向，并鼓励“深层次”的探索。综合起来，散度增广策略优化框架可以在重复利用异策略数据时，稳定化策略优化过程，并使算法以更快的速度收敛到较优策略，显著提高了样本利用效率。ALE环境中的实验结果表明：散度增广策略优化方法的性能显著优于SOTA近端策略优化算法(PPO)，在数据稀缺场景下提升更为明显。还对异策略散度增广优化算法进行了理论收敛分析，在直接策略搜索的设定下给出了散度增广优化的闭式解；在参数空间优化的设定下证明了散度增广优化算法的局部收敛性。