一般的标准强化学习的策略目标是找到一种能够获得最优的解决方案,但在实际的生活环境中仅掌握一种方法是远远不能满足的。因此掌握多种策略方案对于无时无刻都在改变的现实世界是一项必备的技能。但是在目前的强化学习中,如何平衡探索与利用两者之间的关系始终是一项难题。只有足够的探索才能发掘新的解决策略,但过于探索又会使其陷入无法掌握的困境。一直以来,对于无模型强化学习的探索都是通过看似随机的策略来负责的。但是这种启发式的探索并不能帮助其自主地获得更多更好的经验来用于利用与学习。因此我们需要找到一个自主且有效的探索和利用方式。为了满足智能体自主高效探索的同时,还能根据探索的经验掌握多种解决方案。所以引入了带有能量形式的具有多峰分布的策略来对强化学习进行改进。目前该方向一个比较重要的成果就是利用通过soft Q-learning来学习最大熵的策略。但是一般的强化学习需要使用环境的反馈奖励或人为添加奖励函数来引导其策略进行更新,但实际环境中几乎都没有可直接使用的反馈奖励,针对每个环境添加奖励函数也是效率低下。因此还需要一种能够在没有任何反馈奖励的环境中进行自主探索学习的方法。目前已有部分不需要任何奖励的强化学习算法,其中包括目标距离梯度算法,其使用转移距离来作为策略更新的关键,几乎能够应用于任何环境中。但目前目标距离梯度法还没有与最大熵模型进行结合的理论办法,因此本文将以soft Q-learning方法作为理论基础,将其最大熵模型的方法推广到目标距离梯度算法中。本文根据目标距离梯度法与确定性策略梯度法之间的相同点与不同点,将适用于确定性策略梯度法中的最大熵方法应用到目镜距离梯度法中,提出一个GDG-Energy算法。实验结果表明,结合了最大熵模型的目标距离梯度算法能够在环境中获得多种解决策略,并且保留了原有算法的特点与性质。通过在四个迷宫环境中的实验对比,GDG-Energy算法比DDPG-Energy方法在稀疏奖励的环境中能够获得更好的效果。同时针对陷入局部最优的问题,GDG-Energy算法也能够经过大量的探索跳出局部最优寻找到全局的最优解。