在强化学习中,一个经典问题是如何解决价值函数对目标进行评估时产生的估计偏差。基于截断式Q学习的方法缓解了行动者评论家算法中出现的过估计偏差,但忽略了来自低估偏差的影响。其次,在使用传统经验回放机制的行动者评论家算法中仍然存在着低效采样导致的缓慢学习。本文主要针对以上问题,对现有算法做出了结合和改进,具体的研究内容可以总结为以下三个方面:（1）目前使用单一估计器进行更新的行动者评论家算法,在计算值函数估计的时候往往会有比较高的估计值,从而产生过估计偏差,对算法的性能产生负面影响。截断式双Q学习算法在双Q学习的基础上进行改进,成功地缓解了行动者评论家算法中出现的过估计偏差问题。但这种简单使用两个值函数估计中最低值的方法却忽略了低估偏差带来的不利影响。因此,本文提出了一种基于加权平均多估计器的深度确定性策略梯度算法,采用加权平均多重机制,能够在连续控制任务中更精确地评估价值函数,使价值函数更精确地逼近最优值。（2）传统的经验回放机制打破了训练样本之间的独立性,提高了样本的采样效率,但忽略了样本的重要程度。优先经验回放通过为每条样本定义一个优先级,在每次训练时根据优先级抽取样本,从而加快智能体的学习速度。但是,这种优先经验回放算法仅仅使用了目标网络与当前网络一步的差距,忽略了未来差距的重要性。其次,这种方法在深度确定性策略梯度算法中优势不明显。针对以上问题,本文提出了基于多步TD误差的深度确定性策略梯度算法,其能够加快算法的收敛速度,提高算法的性能,并在样本训练次数不足的情况下保持优异的性能。（3）双Q学习利用两个值函数交叉验证来缓解过估计偏差的问题。优势函数一般用来表示一个动作的估计相对于所有动作的平均估计的好坏。基于竞争的深度Q网络利用了优势函数的思想将动作优势和状态值函数估计分离开,仅仅通过修改神经网络的方式使算法的性能大幅提高。因此,本文融合了双Q学习和优势函数的思想,并据此提出了一种基于交叉验证的深度确定性策略梯度算法。该方法在更新值函数网络时,将动作值函数和状态值函数分开进行交叉验证,加快了值函数的收敛,并减轻了过估计偏差对算法的不利影响。