近年来,SLAM技术已经获得突飞猛进的发展,在工业机器人、AR、VR技术,以及智能车等方面都有着广大的应用前景。视觉SLAM完成了智能体对环境的几何信息的理解,但忽略了对环境语义信息的理解。由于视觉SLAM技术与图像语义分割技术是互补关系:前者关注场景的几何信息,后者关注场景语义理解。所以,本文将视觉SLAM技术与图像语义分割技术相结合,研究基于语义信息的相机定位与重建技术。由于RGB-D相机的低成本化、可以轻松构建稠密的地图来体现重构场景的完整性,且使用距离有限。因此,本文研究的是室内环境下的RGB-D相机定位与重建技术。本文的出发点在于将语义分割与经典的视觉相机定位与重建结合,并且相互辅助,从而构建更为准确的三维语义地图。首先,在视觉里程计的两张RGB图像的特征点匹配阶段,针对特征点存在许多误匹配关系问题,提出利用语义分割的结果,分类别进行特征点匹配,使得参与相机运动估计的匹配对更加精确。然后,在重投影求解相机姿态阶段,针对将错误的三维空间点映射到RGB图像中进行重投影误差优化问题,提出利用语义标签信息,缩小投影范围和减少误匹配参与优化,使得求解相机姿态更准确。其次,在局部、全局优化阶段,将语义标签作为先验信息,使得墙面、地面、天花板等分割出的物体的固有几何性质在共同优化相机位姿和三维空间点的坐标时,约束同类别的三维点,使得相机姿态和三维点的优化更完善。最后,融合多个关联关键帧的像素类别预测概率,通过相机定位,利用RGB-D相机提供的深度信息将二维语义标签映射到三维空间中,建立更为准确、完整的语义地图,同时由于相机定位的一致性,提高了单帧语义分割的准确性。此时,不再变更相机姿态估计结果,而是对重建点云进行强约束,利用主成份分析方法将点云调整到最接近真实场景的位置。本文不仅仅充分利用语义信息辅助相机定位与重建中的特征匹配、相机跟踪、全局优化、建图,使得相机定位与重建系统的定位更加准确,建图更加完整。也使得融合后的预测概率比原来单帧预测的结果更加精确。从而使语义分割技术与相机定位与重建技术结合的更加紧密。