自动驾驶是当前人工智能领域中的热点问题。自动驾驶的终极目标是使车辆在没有人类驾驶员操控的条件下借助车载传感器、计算单元以及路侧通讯单元等设备自动完成给定的行驶任务。现有的商用自动驾驶模块化框架非常复杂,科研人员对于系统的开发、维护成本较高。与之相反,基于深度学习的端到端模式则无需明确区分感知、规划、决策和控制等模块,而是将自动驾驶系统作为一个整体进行设计和优化,用神经网络完成从传感器信息到控制命令的映射。目前基于端到端的自动驾驶越来越受到学术界和工业界的关注。本文在提升自动驾驶系统泛化能力以及控制平稳性方面做了如下工作:第一,设计了一种基于视觉特征提取的强化学习自动驾驶系统。首先利用计算机视觉相关算法对车载摄像头捕捉到的画面进行车道线提取,剔除环境噪声（如天空、路边树木等）干扰,接着经过变分自编码器特征降维,只保留原图像中的关键信息,然后利用强化学习算法基于提取到的关键信息进行自动驾驶训练。基于仿真平台的测试表明,本文设计的自动驾驶系统不仅可以完成车道保持任务,并且具有良好的泛化能力,在更换道路场景之后,车辆依然可以正常行驶。第二,为改善行驶稳定性,提出了一种基于LSTM（长短期记忆）网络的端到端自动驾驶系统。首先对车载摄像头捕捉到的画面进行预处理,减少背景图像干扰,然后将处理后的图像和历史速度序列作为输入,传递到卷积神经网络与LSTM相结合的网络结构中,输出系统预测的转角和离散速度指令。基于仿真平台的测试表明,本文设计的自动驾驶系统在经过采样数据训练之后,可以很好的完成车道保持任务,同时车辆的行驶状态也更加平稳。