在没有先验信息的情况下,在未知的环境中通过相机自主确定自身位姿并构建空间的地图,是视觉即时定位和建图（Simultaneous Localization And Mapping,简称SLAM）需要完成的任务。传统的视觉SLAM框架经过多年的发展,取得了很多成果,在不少场景下得到了广泛的应用。其中通过稀疏特征点实现定位和地图构建是目前的主流做法之一。但是在面对复杂的弱纹理场景和剧烈光照变化等成像条件下,传统视觉SLAM的鲁棒性和精度受到了很大的挑战。近年来随着深度学习技术的发展,使用深度学习方法来解决视觉SLAM中的问题成了研究热点,但是目前端到端的SLAM模型很难取得媲美传统方法的效率和精度。但深度学习擅长提取图像的深层特征和语义信息,通过合适的模型设计并与传统方法相结合,有望获得鲁棒性更好的SLAM方法。本文通过利用深度网络提取特征点和语义类别信息,并将其融入到传统视觉SLAM中来实现一种语义SLAM方法。主要研究内容和贡献如下:第一,针对传统特征点完全依赖于图像的几何信息,容易受光照、噪声和图像模糊等问题的影响,本文使用深度学习方法来提取特征点和描述子。利用虚拟数据集解决缺乏标注数据集的问题,并通过数据增强迁移到真实场景中。在工程方面,我们训练了适用的字典用于词袋模型,同时借鉴了传统框架中的流程,我们对网络输出的特征图划分网格并使用高低阈值动态提取,保证特征点有足够的数量并尽可能分布均匀。最后将该特征点融入到传统SLAM框架中并进行了实验验证。第二,为了挖掘和利用图像更高层次的语义信息,本文提出了基于语义类别信息的SLAM系统。利用优化后的实时语义分割网络获取图像的语义信息,并对语义信息进行充分的利用。首先对动态物体类别的分割信息进行形态学膨胀,弥补语义分割精度问题,滤掉相应的特征点。根据图像的分割信息计算语义分数,取出备选关键帧队列中分数最高的帧作为关键帧,提升关键帧的信息量。通过不断更新地图点的语义统计信息,建立语义地图,同时在优化位姿和地图点时对匹配地图点添加语义权重,提升优化的精度。最后通过实验验证了方法的有效性。