语义分割是一种实现对场景像素级分类的技术,在辅助驾驶、自主导航领域具有重要的应用价值。由于道路场景的复杂多样性和光照的差异性,不同目标之间的颜色差别可能会非常微弱,从而增加目标分割的难度。深度信息作为一种描述三维结构的重要特征,可以刻画不同目标之间的几何关联性,提供目标的形状特征和位置关系,有助于降低物体识别的不确定性。目前获取深度信息的主要途径有RGB-D相机、激光雷达和双目相机。RGB-D相机利用结构光技术获取深度信息,但是容易被太阳光干扰,且测量范围只有几米,仅仅适用于室内近距离场景。激光雷达虽然探测范围广、测量精度高,但是价格昂贵、机械扫描寿命短,而且点云信息投射到图像坐标系后稀疏不均匀,大规模地普及应用比较困难。双目相机模拟人眼,根据多视角下的几何关系推测景深信息,性价比更高。随着深度学习和可并行运算设备的发展,由双目图像快速计算出深度信息已不成问题。因此,研究如何高效地挖掘双目图像的深度信息,并与图像视觉信息融合,对于提高语义分割的准确性和可靠性具有重要意义。基于以上背景,本文基于双目视觉,对道路场景下的语义分割技术展开了如下探索性的研究:(1)构建了一种融合双目深度信息的语义分割框架。虽然目前已有很多基于双目图像的深度估计算法,但是不同算法的准确度、运行速度、灵活性差异较大,本文在特定数据集下评估了不同算法。另外,为了避免融合深度信息后的语义分割模型参数过多,本文对深度信息和图像信息的融合方式进行优化,将深度图中不同点之间的相似性作为约束项来修正传统的卷积运算和池化运算。实验证明本文融合深度信息的方法在未增加模型参数量的前提下,分割精度较基于单目图像的方法有显著的提高。(2)设计了一个基于双目跨级特征引导的语义分割框架。考虑到深度估计和语义分割需要利用很多重叠的图像视觉信息,为了提高对信息的利用率,本文研究将深度估计算法的思想融入特征提取阶段,利用双目特征向量之间的差异性作为衡量深度信息的间接表示。此外,本文优化已有的全局注意力上采样模块,在减少参数量的情况下,利用高层特征的语义信息对低层特征进行重分配,增强了特征的判别力。实验证明此方法极大地提高了运算效率,在准确性和鲁棒性上的表现更好。(3)构建了一种基于注意力机制的视差-分割多任务框架。考虑到任务之间的关联性,本文设计了一种以语义分割为主、视差估计为辅的多任务模型。为了平衡视差估计任务对较大分辨率的需求,同时保证参数不能过高,本文改进特征金字塔注意力模块来完成多尺度特征的提取与融合。针对大多数视差估计算法需要提前人为指定最大视差值的现象,本文应用视差注意力机制来度量同一极线上的不同点之间的相似性,通过这种全局的依赖关系来摆脱视差搜索范围的制约。实验证明多任务学习能够引导网络关注不易察觉的特征,提高了分割精度。由于池化之类的操作降低了分辨率,导致视差估计分支对小目标的学习效果较差,因而视差估计分支的结构有待进一步改良,算法效果仍有很大的提升空间。