本文首先描述了自动驾驶的历史并对深度强化学习的基础理论进行了介绍,随后在策略梯度的基础上提出了异步广义优势行动者-评论家(Asynchronous Generalized Advantage Actor-critic,G-A3C)算法,并将其用于自动驾驶的决策之中。策略梯度可以直接通过最大化累积奖励去优化非线性函数逼近器(如神经网络)的参数。在策略梯度中可能存在两个问题:(1)样本不符合独立同分布且有时序上的相关性,(2)策略梯度有很高的方差。针对于第一个问题,本文采用了并行的策略,即在同一时刻让智能体与不同的环境实例交互,解耦时序相关性,利用异步梯度下降稳定地优化非线性函数逼近器。对于第二个问题,通过对策略梯度的理论分析,认为行动者-评论家算法中的优势函数能够减小梯度方差,但是由于引入了对价值的估计,使得在方差减小的同时偏差也会变大。本文通过对行动者-评论家中的优势函数进行多步评估,将偏差控制在一定范围内的同时最小化方差。基于本文提出的异步广义优势行动者-评论家,在CARLA自动驾驶仿真平台上进行自动驾驶决策仿真。实验中策略网络的输入为传感器采集到的图像信息和汽车自身的信息,输出为控制信号。为了更好的提取图像特征,本文采用了残差网络作为图像特征提取网络,并且由于异步梯度下降中每次仅采用一个样本计算梯度,改进算法利用组归一化加速网络的收敛。与此同时,本文利用循环神经网络解决部分可观测问题。针对于自动驾驶这一特定任务,本文也设计了关于速度、转向、碰撞以及侵占的奖励函数。最后,基于CARLA平台的仿真模拟实验表明,本文提出的异步广义优势行动者-评论家在自动驾驶决策中的是十分有效的。