基于视觉的同时定位与建图(Simultaneously Localization And Mapping,SLAM)可以为无人系统提供其自身当前的位置信息与观测到的环境结构信息,却未能充分利用环境的语义信息。在VSLAM基础上增加语义信息,不仅能够增加建图的精度还能让无人系统更好的感知周围环境,从而完成更加复杂的任务。所以本文将二维图像的语义分割信息融入到VSLAM所构建的三维场景中,完成三维语义地图的构建。首先,对全向移动机器人平台进行运动建模并利用PID算法实现对机器人的运动控制,为了满足在后期建图时对无人车自由控制的要求,使用ROS系统实现PC端对无人车的实时控制。其次,实现基于Kinectv2深度双目摄像头的视觉SLAM系统,主要包括ORB＿SLAM和RGBD＿SLAM。视觉SLAM通过匹配两关键帧之间的特征点估计相机位姿,采用Bundle Ajustment算法优化相机位姿和特征点位置,此外采用基于词袋模型的回环检测算法判断运动轨迹是否产生回环,如果发现回环,则将回环加入用于全局地图优化的位姿图中用于消除误差。最后得到优化的相机位姿,并实现三维地图重建。再次,设计了语义分割系统,实现对二维图像的语义分割。语义分割选用PSPNet网络,PSPNet网络在FCN的基础上加入金字塔池化模块,弥补了传统语义分割算法中语境关系不匹配、类别混淆等缺陷,提高了语义分割的精度。本文采用resnet-101对图像进行特征提取,替换掉原始模型中的resnet-50,提高了分割精度。最后,将视觉SLAM系统得到的环境几何信息与语义分割系统得到的二维语义信息进行融合,融合方法采用最大融合和贝叶斯融合,生成三维语义点云地图。为节省存储空间并更好的对地图进行表达,将三维语义点云地图转化为三维语义八叉树地图,随着Kinectv2摄像头的移动实现动态三维语义场景地图的构建。无人车完成语义地图构建后将会有较高的应用价值,在此基础上可以丰富无人车的功能,使得无人车更加智能化、人性化。