近年来,随着汽车行业的发展,全球机动车数量呈现井喷式增长的同时,自动驾驶汽车也在逐渐成为新兴热点。自动驾驶技术将为我们在提高驾驶安全性、治理尾气排放、缓解交通压力等方面带来远超过预期的巨大变化。国内外汽车制造厂、大学科研机构以及巨头科技公司都不断加大对自动驾驶技术研发的布局。传统的自动驾驶汽车大多基于激光雷达、毫米波雷达来实现车辆定位、环境感知。但对天气环境敏感、无编码的激光互扰、识别速度受制于雷达旋转刷新率,以及整车造价昂贵这些问题也随之而来。众所周知,人类驾驶员在日常驾驶过程中,只需要收集视觉信息即可完成对车辆二维输出操控(速度、转角)。如何在保障自动驾驶安全性的前提下,尽可能的减少传感器利用,使自动驾驶系统更加智能的学习人类驾驶方式,单纯利用图像信息对车辆进行操控是无人驾驶学者长期关注的课题,也是日后无人车降低生产成本广泛普及的先决条件。本文将针对这一问题,从图像信息感知以及人类驾驶行为学习这两个方面结合深度学习对基于End-to-End(端对端)网络的自动驾驶模型展开深入研究。首先,对现有的End-to-End(端对端)神经网络模型与实际应用进行研究分析,讨论其网络特性是否可以满足自动驾驶车辆的感知、操控需求。从对End-to-End(端对端)神经网络的诞生,到其内部结构发展、优化的更替的优劣势分析,再到谷歌利用End-to-End(端对端)神经网络模型在实际工程中控制机器人机械臂,以及普林斯顿大学引入End-to-End(端对端)神经网络思想的Deep Driving自动驾驶模型的对比总结。对一种通过单纯视频预测使用无监督学习的无人车操控系统进行可行性分析,最终提出一种输入端是图像、输出端是油门、刹车、速度、转角,基于End-to-End(端对端)神经网络对人类驾驶行为学习的自动驾驶模型。其次,为了提升神经网络训练效果,在数据处理层面本文针对模型内所包含的3类图像数据和4类操控数据,分别进行了图像数据特征增强以及两种操控数据回归模型(多元线性回归、二次线性相关)的建立对比。在网络结构优化层面本文针对学习率、激活函数以及卷积初始化参数这个方面,进行相关对比实验最终择优选择Adam学习率算法、Elu激活函数和HE-elu参数初始化方法。最后,在数据集增强层面上使用DCGAN(深度对抗)深度卷积神经网络对已有图像数据进行训练再生,以数据集扩充的方式提高神经网络训练准确度。通过对比优化前后的神经网络模型效果使用RSME和驾驶仿真软件两种方式来验证神经网络优化效果。并对优化后End-to-End(端对端)配合DCGAN(深度对抗神经网络)的自动驾驶模型,从神经网络准确率以及模拟仿真实验修正干预次数统计两个方面进行了效果分析讨论。最终得出结论,本自动驾驶系统,通过只采集图像单一类型的数据,学习人类驾驶行为,进行神经网络预测,最终达到了在模拟驾驶系统上的实现自动驾驶功能的系统预期。