实现同时定位与构图是智能移动机器人所要具备的基本能力,在过去的研究中,很多SLAM系统被开发出来,在语义地图方面也取得了很多可喜的研究结果,但一些问题仍然没有很好的解决。针对如何使机器人真正了解环境,处理高级任务,提高机器人在语义构图过程中的鲁棒性,精确性,本文研究如下问题如何实现:(1)语义分割方面的先进方法在机器人利用RGBD图像序列进行同步定位与地图构建的精确性上的改进。(2)联合语义分割和实例分割,利用二者之间的联系提高机器人对环境的理解,提高语义地图的鲁棒性。(3)联合结构实现后,将类概率分配给每个区域,实现高效可扩展的三维语义地图构建,让机器人明白人所给它的任务命令,从而实现人机相处的和谐度。目前的3D点云语义分割和个体实例分割都是单独进行,没有利用二者之间联系来进行3D场景的多通道化分割。针对以上问题提出以下方法:联合实例分割和语义分割使这两个任务相互利用,达到双赢的局面。通过学习语义感知的点级实例嵌入,使实例分割从语义分割中受益。同时,将属于同一实例的点的语义特征融合在一起,使每点的语义预测更加准确。本文的方法在三维实例分割方面大大优于目前最先进的方法,在三维语义分割方面也有了很大的改进,进而更好地实现室内机器人定位与建图。在人类社会正经历的严峻的病毒侵害的如今,室内机器人在医疗以及平时生活当中为人类提供更多的方便与帮助需求,本文主要贡献如下:首先,为构建精确语义地图的目提出了联合语义分割和实例分割的框架,用于关联实例分割和点云语义分割,明确地探索了这两个任务之间的关系,并直接指导了本文的方法设计。再次将联合语义分割和实例分割的类概率分配给每个区域,而不是3D地图的每个元素,该方法通过SLAM框架建立,并使用基于几何的分割方法逐步分割,这是一种高效、可扩展的构建语义地图的方法。本文在联合实例分割和语义分割网络中可以识别的对象类型,拓展了联合结构的应用范围。在未来,通过优化移动一致性检测方法来提高语义构图的实时性,实现移动机器人更高级的任务。