在计算机视觉中,一个很重要的分支是图像语义分割,它区别于图像分割和图像分类,它是将原始图像通过人为设定的语义,分割成若干不重合的有意义区域的过程。它是计算机视觉中一项极具挑战性的任务,也是实现场景理解的关键步骤之一。随着深度学习技术的不断发展和GPU计算能力的不断提升,传统图像语义分割方法逐渐被深度学习所取代。目前使用深度学习进行图像语义分割已成为国内外学者研究的一个热点方向。而在图像语义分割的应用场景中,自动驾驶系统是其中一个极为重要的应用分支。对于一个完整的自动驾驶系统而言,可以准确实时的进行车外环境感知是绝对必要的,车外环境感知包括了各类不同的任务,其中尤其重要的就是图像语义分割。通过将感知设备传入的图像经过语义分割处理,得到各个对象的外部轮廓,从而控制系统可以根据在行驶方向上的分析出的多种类型的结构化数据发出正确及时的控制指令。由于自动驾驶和图像语义分割的高度契合性,所以本文的研究工作主要围绕基于深度学习神经网络的图像语义分割技术展开,平衡精度与速度,使其在满足自动驾驶需求的快速性的同时尽可能使每个类别的对象都能得到一个准确的分割轮廓。本文提出了一种基于Residual ESPNet的适用于自动驾驶场景的深度学习模型,在ESPNet的基本网络结构上优化特征提取模块并添加残差结构以融合底层语义信息,丰富特征维度;通过改变ESP模块中的卷积形式,减少计算量,使快速性和准确性达到一个比较好的平衡。同时提出了一种基于注意力机制和水平集的损失函数,水平集策略将对象分为外部和内部,构造了一个最小能量函数作为网络的损失,用来反向传播以最小化能量泛函,逐渐提高分割精度。在评价图像分割质量时,提出了一种新的基于轮廓的评价指标,该评价指标主要是基于BF Score和Jaccard Index的改进,在利用Jaccard Index的全局统计量的同时融入对象轮廓信息,使评价更为准确客观。