场景语义分割是计算机视觉领域的一项重要研究课题,在虚拟现实、增强现实、室内导航、自动机器人等场景都有广泛的应用。二维图像表达了场景的颜色纹理信息,三维点云或深度图表达了场景的空间结构信息。如何将颜色纹理特征与空间结构特征相融合,并在融合后的特征上进行语义分割,以进一步提高其分割精度具有重要的研究意义。本文基于深度学习将RGB图分别与深度图、点云两种不同的空间结构信息进行融合来提高特征表达能力,并对融合后的特征实现逐像素的语义分割。（1）室内场景下不同目标的颜色纹理特征相似,且因室内空间小而目标之间容易相互遮挡,依靠传统RGB图像的颜色纹理信息进行语义分割容易出现分割边界不精确或误分割的情况。针对此问题,可以将深度图特征与RGB图特征进行融合,难以用颜色纹理特征准确区分的细节信息通过空间结构特征进一步区分。本文设计了一个双分支编码器的图像语义分割网络,通过两个分支分别提取RGB图的颜色纹理特征与深度图的空间结构特征,并在融合后的特征上用空洞空间金字塔池化模型来捕获不同尺度的目标特征,以提高特征的稳定性。通过卷积注意力机制对不同的特征进行加权,进一步加强特征之间的语义关联。最后在公开数据集SUNRGB-D上的语义分割结果表明,RGB图的颜色纹理特征与深度图的空间结构特征融合后进一步提高了语义分割的精度。（2）在点云的语义分割任务中,点云的三维坐标信息提供了丰富的空间结构特征,但缺乏场景下的颜色纹理特征。室内场景中的局部细节特征对分割精度的提升至关重要,并且只用三维信息很难区分挂画、窗帘等空间结构特征不丰富的目标。针对此问题,提取同一点云场景下RGB图的颜色纹理特征并与点云特征进行融合,进一步丰富场景的特征信息。本文首先用一个卷积神经网络作为编码器提取同一场景下RGB图的颜色纹理特征,再将得到的RGB图特征映射到点云空间,经过多层卷积运算可以加强特征之间的语义关联。然后将映射后的特征与点云的空间结构特征相融合,进一步提供了丰富的颜色纹理特征。最后用自注意力机制生成全局上下文信息,建立特征内部的远程依赖关系。以室内场景数据集ScanNet为对象,开展融合RGB图与点云的语义分割任务。实验结果表明,融合RGB图特征后可以进一步提升点云的语义分割精度。