图像语义分割是指对图像中每个像素进行分类,为其指定一个类别标签使其与真实存在的物体或概念相联系。而视差估计是指输入双目数据,为全部或部分像素找到其在两个视角上的相对关系并求出其偏移量。视差可以很容易地被转换为深度数据从而构建场景的局部三维模型,结合语义分割模型可以实现物体的像素级别定位。本文将两者的结合称为2.5D语义分割。2.5D语义分割可以被应用于多个领域,如:自主导航机器人的场景感知、增强现实中的传感器定位、国防安全中的雷达图像自动化分析等。随着深度卷积神经网络(Deep Convolution Neural Network,DCNN)的引入,语义分割、视差估计算法的性能取得了重大突破,研究人员在原始DCNN的分类功能上逐渐研究其对图像语义分割以及视差估计的应用。近年来,基于DCNN的语义分割网络以编解码为结构基础对图像进行特征抽象与语义细节恢复。视差估计任务方面经历了从以编解码为结构基础的特征提取与视差细节恢复网络到基于孪生神经网络的特征提取与匹配网络的转变。同时随着网络结构越来越复杂高效,数据集也被大量提出来推进相关工作。本文针对当前存在的场景理解数据集进行调研分析,提出了一个大规模双目室内场景理解数据集。同时基于数据集提出成了端到端的2.5D语义分割网络。本文从数据集生成、网络模型构建、训练策略等几个方面展开深入研究:(1)大规模双目场景理解数据集的生成:本文以当前公开的三维场景模型数据集为基础,结合机器人运动的实际情况来设计空间中相机运动准则,指导相机在场景中进行全局的路径导航。针对导航结果对场景进行筛选并排序,按照顺序进行基于光线跟踪的图像渲染。本文对5,414个场景进行了路径规划,渲染了包含312个场景的222,778个位姿点的双目RGB数据以及双目语义分割与深度的真值标签。并经过统计,语义分割的像素分布与真实数据保持一致,确保了数据集的合理性。(2)2.5D语义分割网络的设计与实现:本文结合当前最优的语义分割、视差估计网络的设计优点,提出了端到端的2.5D语义分割网络,能够同时输出语义分割和视差估计结果。网络由特征提取器、语义分割分支、视差提取分支三个部分构成。特征提取器以残差网络(Residual Networks,Res Net)中的残差单元为基础进行构建,双目输入图像被特征提取器分别处理而构成孪生神经网络结构,在不同的分辨率上得到左右图像双目特征。双目特征被分别以空间金字塔池化和代价簇(cost volume)进行处理得到多尺度的语义分割特征以及包含深度信息的视差估计特征。两个特征被分别以语义分割分支和视差估计分支进行进一步处理同时输出语义分割和视差估计结果。之后,本文针对2.5D语义分割网络的多任务本质,从训练策略上确定了最优的网络构建方案,同时进一步引入多目标损失函数来提升网络性能。本文通过大量对照实验,确定了本文提出的数据集对于语义分割任务的训练能够提供有效图像信息,同时确定了最优的训练策略。使得2.5D语义分割网络能够兼顾两个任务输出较高精度的结果。同时本文通过实验表明,提出的多目标损失函数有效地提升了语义分割的指标成绩,达到了89.012%,在视差估计上的误差指标达到1.21像素。同时实验表明,本文应用的多目标函数使得视差估计能够受到语义监督的约束,为进一步的研究提供了研究方向。