双延迟深度确定性策略梯度是深度强化学习的一个主流算法,是一种无模型强化学习,已成功应用于具有挑战性的连续控制任务中。然而,当环境中奖励稀疏或者状态空间较大时,双延迟深度确定性策略梯度的样本效率较差,环境探索能力较弱。为此,本文对如何增强双延迟深度确定性策略梯度算法的探索能力进行研究,主要研究内容包括:（1）针对通过双Q值函数的下界确定目标函数带来的低效探索问题,提出一种基于乐观探索的双延迟深度确定性策略梯度。首先,从双Q值函数出发,分析取下界会使得探索具有一定的悲观性;然后,利用高斯函数和分段函数分别对双Q值函数进行拟合;最后,利用拟合Q值函数和目标策略构造出探索策略,指导智能体在环境中进行探索。探索策略能够避免智能体学习到次优策略,从而有效解决低效探索的问题。（2）针对双延迟深度确定性策略梯度算法在稀疏奖励环境中无法有效学习的问题,提出一种基于内部探索奖励的双延迟深度确定性策略梯度。首先,对TD3中导致探索能力不足问题进行分析;其次,利用变分自编码器和预测网络,得到下一状态特征值的误差并将其作为短期探索奖励;然后,将双Q值函数的误差作为长期探索奖励;最后,通过对两个探索奖励的加权得到智能体在训练过程中自身产生的内部探索奖励。内部探索奖励可以促进智能体在环境中进行有效地探索,进一步提升模型的学习效率。本文在基于Mu Jo Co物理引擎的控制平台上将所提算法与基准算法进行实验对比,验证了所提算法的有效性。实验结果表明:所提算法在奖励、稳定性和学习速度等指标上均达到或超过其它基础强化学习算法。该论文有图23幅,表8个,参考文献90篇。