近年来,同时定位与建图（SLAM）技术取得了快速发展,以视觉为主的SLAM方案逐渐开始落地应用,研究学者们相继提出大量优秀算法,但是仍存在一些不足之处,有许多问题亟待解决。比如动态场景定位问题、地图构建实用性较弱及系统鲁棒性差等问题。针对上述问题,本文提出了一种结合双目鱼眼相机、深度传感器及IMU的动态场景语义三维地图构建算法。本文主要研究内容如下:首先,针对动态场景下定位误差较大的问题,提出自适应窗隔匹配模型进行特征提取及匹配筛选,以获得静态区域的特征匹配点对。该模型采用改进的ORB特征点法提取特征,可使特征分布更为均匀并优化其存储结构,再使用自适应图像帧筛选策略及区域匹配得分评估策略,剔除动态物体上的匹配点对。同时,为提高系统联合初始化速度,提出视觉IMU融合的快速初始化方式,依靠视觉测量降低联合初始化阶段优化复杂度。然后,针对系统定位鲁棒性差的问题,设计跟踪丢失决策机制,在跟踪失败时,可保存历史地图点及位姿信息,并重新建立跟踪,当检测到重复场景时,执行子地图融合策略及位姿校正算法,确保全局位姿估计一致性。同时,使用闭环检测方式来消除定位过程中的累积误差。其次,针对三维地图实用价值不高的问题,结合深度学习算法对图像帧语义分割,并生成动态目标掩膜,以构建动态场景下包含语义信息的三维稠密地图。同时,针对三维建图完整性较差及精度较低的问题,设计三维建图优化策略,采用ESDF数据格式增量更新地图,结合前端里程计、闭环约束及子地图匹配约束执行优化,达到提升建图效果的目的,且可应用于机器人导航及避障。最后,在TUM、EuRoC数据集及实验室场景中对本文系统进行实验验证。定位评估结果表明,本文算法可在动态及静态场景中实现高精度且鲁棒的位姿跟踪,在TUM动态数据集上定位精度可达0.708cm,平均跟踪频率可达40Hz。在实际场景对地图构建及优化做实验分析,重建精度可达0.05883米,误差范围在0.085%～0.78%。此外,在多个动态场景中进行语义建图实验,表明了算法的有效性。