随着人工智能、5G等前沿技术的高速发展,以及人类对驾驶车辆安全性、缓解交通拥堵等方面的急切需求,智能汽车已成为现代汽车工业的发展重点,将人工智能算法与无人驾驶技术相结合已成为现阶段各国学者的研究热点。深度强化学习(DRL)作为人工智能领域具有决策功能的杰出算法,在解决复杂的控制任务中有着自主学习等多方面优势,对实现无人驾驶车辆的智能控制具有重要意义。本文将深度强化学习算法应用于无人驾驶智能控制策略的学习中,并采用开源赛车模拟器(TORCS)仿真环境验证了算法的有效性。本文首先针对深度确定性策略梯度(DDPG)算法存在价值高估偏差,训练参数脆弱等问题,决定采用基于DDPG算法改进的双延迟深度确定性策略梯度(TD3)算法作为无人驾驶车辆的智能控制算法。并针对TD3算法中由于采用固定延迟步长的策略更新,没有考虑价值估计的动态性,从而影响策略学习效率的问题,本文提出一种基于动态延迟策略更新的双延迟深度确定性策略梯度(DD-TD3)算法,DD-TD3算法将价值网络更新损失的指数加权移动平均值(EWMA)设置为动态延迟步长的更新标准,并以此标准指导策略网络延迟更新。然后,针对TD3算法在训练过程中对经验回放体中的经验样本进行随机采样,并未考虑经验样本重要性差异,从而导致算法训练效率低、训练过程不稳定的问题。本文设计了一种强调优秀经验的回放体(EOE Buffer),该回放体通过立即奖励的指数加权移动平均值对经验样本进行重要性分类,通过增加在优秀经验样本中的采样频率来提高算法的训练效率。针对神经网络的灾难性遗忘问题,通过深入研究深度强化学习算法训练过程中初始探索经验的重要性,设计将初始探索经验保留在EOE Buffer中以提高TD3算法持续学习的能力。通过在Pendulum-v0环境下进行实验测试。验证了DD-TD3算法及EOE Buffer的有效性。最后,以无人驾驶车辆控制为应用实例,采用基于EOE Buffer的DD-TD3算法(EOE DD-TD3)对TORCS仿真环境中的车辆进行智能驾驶控制。通过对实验结果的分析,验证了上述算法在学习无人驾驶智能控制策略过程中的有效性。