随着汽车保有量的增加,自动驾驶技术在解决道路安全等问题中起到了关键性的作用。针对自动驾驶中导航定位、路径规划、行为决策和车辆控制等关键技术,本文对自动驾驶中的决策部分展开研究。随着人工智能算法的迅速发展,通过深度学习算法、深度强化学习算法实现的自动驾驶端到端决策,成功简化了传统自动驾驶系统结构。本文将在真实驾驶数据集与虚拟驾驶环境中对基于端到端学习的自动驾驶决策算法进行实践、改进及验证。首先,现有端到端驾驶决策算法大多采用图像序列作为输入,通过神经网络模型直接预测车辆方向盘转角,但这种方法并不能完成车辆自动驾驶任务。因此,本文提出了一种基于深度学习的端到端驾驶决策模型,其对深度卷积神经网络提取的视觉特征进行加权处理,并建立了一个端到端的系统来学习自动驾驶过程中的拟人决策。此系统由VGG16网络、循环神经网络和全连接网络组成的,系统的输入为在时间上连续的无人车第一视角图像序列与车速序列,系统的输出为两个浮点数,分别代表要预测的车辆方向盘转角及车速。为提高预测精度在基于深度学习的端到端驾驶决策模型中增加注意力机制,并在Comma.ai驾驶数据集中验证了该模型的有效性。在纵向车速预测环节上,基于注意力机制的端到端驾驶决策模型相比纵向车速预测模型平均绝对误差减少了71.9%,此外基于注意力机制的端到端驾驶决策模型相比无注意力机制的模型平均绝对误差减少了7.93%。其次,设计了一种基于深度强化学习（Deep Reinforcement Learning,DRL）的驾驶决策控制器,通过增加控制障碍函数（Control Barrier Function,CBF）对DRL控制器输出的车辆动作进行限制,提高了车辆行驶安全性。采用深度确定性策略梯度算法（Deep Deterministic Policy Gradient,DDPG）作为端到端驾驶决策控制器,将无人车第一视角的图像序列与激光雷达点云投影的2D图像序列作为输入,控制器的输出为车辆的油门制动踏板开合程度和方向盘转角。若车辆横向控制动作无法保证车辆行驶在安全区域中,则通过二次规划求解满足安全行驶条件的车辆横向控制命令。实验过程中设计了基于仿真环境信息和相关交通规则的奖励函数,在CARLA驾驶仿真环境中完成测试,经过相同训练周期后本文提出的基于端到端学习的DRL-CBF控制器可以完成车辆行驶任务并保证基本行驶安全,DRL-CBF控制器的平均步长远超基于DDPG、SAC、DQN算法的端到端驾驶决策控制器。在相同测试场景中基于DDPG-CBF控制器的车辆横向控制的波动时间小于SAC-CBF控制器,同时DDPG-CBF控制器控制的车辆车速更高且稳定。