语义分割技术是计算机理解场景的关键技术,准确的语义分割结果对遥感测绘、自动驾驶、智能医疗等领域都有着重要的积极意义。随着应用领域的不断发展,分割对象、分割场景、分割类别越来越多样化。同一类别对象由于属性不同可能表现出不同的特征,不同类别对象则可能存在近似的特征,仅凭单一数据源很难取得令人满意的分割效果。联合点云和影像进行分割能有效减少地物在单一数据源下类别混淆的情况。然而点云和影像数据类型、特征分布差异悬殊,如何同时高效提取两类数据源的特征并将二者有机结合成了多模态数据联合场景语义分割的关键。Transformer是一种以自注意力为主的高效并行的网络架构,能处理文本、图像和点云等多种模态的数据,同时具备高效的特征提取能力。本文将Transformer应用到二维影像与三维点云联合分割任务中,任务场景按照数据源的主次分为两类,分别从点云栅格化深度图与二维影像融合分割、影像特征提取与三维空间投影融合两方面,研究了利用Transformer特征提取与自注意力融合机制的深度学习场景语义分割方法。具体内容如下:1、现有的RGB-D分割工作大多采用双流网络架构,使用相同结构的两个分支,分别从彩色图像和深度图中提取特征,内存消耗大,计算成本较高。针对这一问题,提出了具有不同结构分支的双流网络架构,彩色分支使用Transformer架构,深度分支采用轻量化的下采样模块。同时为了充分考虑两个模态、两个分支之间的差异,发挥各自优势,提出了考虑深度的自注意力模块,展现了自注意力在多模态特征融合方面的能力。2、现有的多视影像点云联合分割工作多是端到端的网络设计,制约了2D网络部分和3D网络部分的规模,同时只能处理低分辨率的少量视图。针对这一问题,设计了阶段式的分割流程,先进行2D网络训练,挑选覆盖整个场景的大量视图,进行2D网络推理并投影到3D空间,形成与RGB-D数据类似的多通道携带2D语义的点云数据。以此为输入,Point Transformer为基线方案,探讨了不同融合方案对点云影像特征融合的影响和引入Transformer架构的好处。