为了能够正确地进行导航,完成特定的行驶任务,自动驾驶车辆需要依靠搭载的各类传感器,不断进行道路环境的感知与理解,并为安全导航行驶提供参考环境信息。道路环境理解作为自动驾驶车辆相关研究内容中最重要的组成部分之一,是保障自动驾驶车辆安全快速行驶的必要条件。目前,虽然相关技术正在不断成熟,但是依然存在许多难以克服的问题。例如:1)在目前针对道路区域分割的研究中,存在着一系列问题,例如利用单一传感器数据的分割方法容易受到不同天气、光照等环境因素的影响,手工提取特征的方法不能适用于不同的环境,全监督的学习方法则需要大量人工标注的训练数据等;2)在行人检测与识别的大部分方法中,在提取感兴趣区域的过程里,需要人工设置经验参数,因此针对不同的数据需要不断手动调整参数;3)道路环境的语义分割还存在许多挑战,例如道路上的水面区域由于存在复杂的反射纹理,在目前尚没有一个很好的分割方法。因此,如何解决上述问题,改进道路环境理解的结果,成为了相关研究工作的重点与难点。本文主要针对上述和自动驾驶车辆相关的道路环境理解问题,从道路区域分割、行人检测与识别、水面区域分割三个研究内容出发,基于多传感器融合、深度学习、生成对抗网络等技术,开展了若干关键技术研究工作。本文的具体研究内容及创新之处主要包含以下几个方面:1)针对利用单一传感器的道路分割方法容易受到环境噪声影响的问题,提出了一种基于激光雷达和图像数据融合的道路区域分割方法。在本方法中,首先把激光雷达点云投影到图像上,生成稀疏的高度图,再使用双边滤波算法生成致密高度图像,完成数据层的融合。随后,提取textons图像数据特征、图像位置特征和局部距离分布激光雷达数据特征,利用条件随机场完成特征层融合,最终得到道路区域分割结果。在KITTI道路数据库上的实验表明,本方法相比较于其他方法具有更好的性能。2)针对基于传统机器学习的道路区域分割方法需要手工提取特征这一问题,提出了一种基于多种先验信息融合及全卷积神经网络的道路区域分割方法。该方法基于Resnet101深度神经网络架构,能够自动提取彩色图像上的特征,融合包括位置图像,高度图像和梯度图像的多种先验信息,完成道路区域分割。本方法在KITTI道路数据库进行了实验验证,取得了良好的性能。3)针对全监督学习的道路区域分割方法需要大量人工标注的训练数据这一问题,提出了一种基于生成对抗网络的半监督学习道路区域分割方法。通过生成对抗网络中生成器(道路区域分割网络和道路形状预测网络)和鉴别器(输入数据判别网络)的迭代对抗训练,完成半监督的学习过程。在本方法中,可以直接使用大量无需标注的图像,辅助少量人工标注的图像完成道路区域分割网络的训练。在KITTI道路数据库上的实验结果表明,本文提出的方法可以明显改善过拟合问题,加快收敛速度,同时减少人工标注训练样本的工作量,取得了良好的性能。4)针对行人检测与识别方法中存在的在提取感兴趣区域时需要人工设置经验参数这一问题,提出了一种融合激光雷达和图像数据进行行人检测与识别的方法。本方法利用激光雷达数据,自动分割图像中的路面和障碍物区域,并对障碍物区域聚类提取感兴趣区域。之后,本方法在所有感兴趣区域内去除了背景纹理,提取了基于图像的方向梯度直方图特征和基于激光雷达的几何特征,并利用融合过后的特征训练了 SVM分类器进行行人检测。在NJUSTRobot和KITTI行人数据库上进行的实验,验证了本方法的有效性。5)针对水面区域表面具有多变的反射纹理从而难以分割这一问题,提出了一种基于反射注意单元的单幅图像水面区域分割方法。本方法提出的反射注意单元可以帮助深度神经网络学习到图像在垂直方向上不同位置之间的反射关系,从而提升水面区域分割的性能。同时,本方法还标注了 985幅包含不同大小、不同形状的水面区域的图像,构建了 Puddle-1000数据库。本方法是第一个基于深度神经网络的水面区域分割方法,在这个数据库上的实验证明了本文提出的方法具有十分优异的性能。