由于深度学习特别是卷积神经网络在计算机视觉领域取得了令人瞩目的成功,基于计算机视觉和深度学习的自动驾驶技术得到了快速发展。当前端到端自动驾驶系统的研究方法主要是采用图像或图像序列作为输入,使用卷积神经网络直接预测方向盘转角,取得了较好的效果,但仅通过方向盘转角并不足以完成自动驾驶车辆的控制。因此,本文提出了一个基于端到端学习的多模态多任务神经网络模型,能够同时预测车辆的方向盘转角和速度,实现自动驾驶车辆的横纵向控制。主要研究内容如下:基于GTAV虚拟游戏搭建了适合进行自动驾驶数据采集和测试的仿真平台,该仿真平台能够有效缩短算法开发时间和降低开发成本,并能够直观地测试算法模型的效果。为解决自动驾驶的横纵向控制问题,将方向盘转角序列和速度序列作为额外的模态信息输入,在深度卷积神经网络CNN的基础上,引入了长短时记忆神经网络LSTM,提出了CNN-LSTM多模态多任务神经网络模型,以端到端的方式同时预测方向盘转角和速度。在GTAV数据集上进行神经网络模型的训练和测试,实验结果验证了CNN-LSTM多模态多任务神经网络模型实现自动驾驶车辆横纵向控制的可行性和有效性,表明该模型能够较为准确地预测速度值,进一步提高了方向盘转角的预测精度。神经网络模型的可解释性差,为了从一定程度上解释CNN-LSTM神经网络模型如何理解输入的图像,找到模型改进的方向,采用VisualBackProp对神经网络模型进行了可视化分析,分析结果表明模型能够从图像中提取到与驾驶相关的关键特征。通过基于ROS的自动驾驶平台进行了真实场景数据采集和道路测试工作。采用深度迁移学习解决仿真环境与真实场景数据集的差异问题,在真实场景数据集上采用finetune进行神经网络模型的再训练和测试,测试结果表明模型能够较为准确地预测方向盘转角和速度,真实环境下的路测结果表明神经网络模型能够较好地完成车道保持和避障绕行的任务。