论文部分内容阅读
复杂未知作业环境下,视觉 SLAM技术应用在穿戴式系统上往往存在定位不准、易丢失的问题。本文针对复杂多样且存在光线变化、移动物体等干扰的作业环境,研究了基于点线特征的视觉惯导SLAM技术;在此基础上,以巡检作业人员定位为典型应用场景,设计了可穿戴式定位系统,搭建了一套可穿戴式硬件平台,并开发了巡检定位功能和监控功能应用软件。
首先针对复杂作业环境的特点,提出了基于点和线段特征融合的视觉SLAM方法。在ORB-SLAM2的框架上引入线段特征,将点特征的跟踪匹配的管理方式扩展到线段特征中,分析了线段特征的重投影误差模型,构建了点线特征融合下新的优化目标并详细推导其雅可比矩阵,通过非线性优化的方式,实现了基于点线融合的相机位姿和特征位置的求解。进一步,提出了以基于多状态约束卡尔曼滤波器的视觉特征与IMU融合的定法方法作为点线融合SLAM的前端,综合IMU数据和视觉信息的优势,解决了在剧烈运动、相机曝光异常、光线明暗变化和移动物体干扰时定位不准的问题。
针对视觉SLAM中的回环检测模块,提出了两种改进的方法。一是基于点和线段单词对的方法,将图像中点线单词的共现信息与空间邻近关系纳入回环检测中,克服了不同场景中相似物体之间的感知混淆问题;二是基于深度学习的回环检测方法,通过语义分割网络将图像中的干扰语义区域剔除,在静态图像区域提取深度特征点Superpoint 完成回环检测,并设计了三角剖分验证和对极几何验证,显著提高了在高相似度且存在干扰的场景下回环检测的准确率和召回率。
在上述技术研究的基础上,构建了用于巡检作业的可穿戴式定位系统,开发了巡检定位功能和监控功能应用软件。定位功能软件主要包括环境地图构建和实时定位功能等模块,监控功能软件基于 Reactor 模式的服务器模型,提供可视化功能与交互功能。最后在真实/模拟作业环境和公开数据集上进行了模块和整体的实验,结果验证了方法的有效性。
首先针对复杂作业环境的特点,提出了基于点和线段特征融合的视觉SLAM方法。在ORB-SLAM2的框架上引入线段特征,将点特征的跟踪匹配的管理方式扩展到线段特征中,分析了线段特征的重投影误差模型,构建了点线特征融合下新的优化目标并详细推导其雅可比矩阵,通过非线性优化的方式,实现了基于点线融合的相机位姿和特征位置的求解。进一步,提出了以基于多状态约束卡尔曼滤波器的视觉特征与IMU融合的定法方法作为点线融合SLAM的前端,综合IMU数据和视觉信息的优势,解决了在剧烈运动、相机曝光异常、光线明暗变化和移动物体干扰时定位不准的问题。
针对视觉SLAM中的回环检测模块,提出了两种改进的方法。一是基于点和线段单词对的方法,将图像中点线单词的共现信息与空间邻近关系纳入回环检测中,克服了不同场景中相似物体之间的感知混淆问题;二是基于深度学习的回环检测方法,通过语义分割网络将图像中的干扰语义区域剔除,在静态图像区域提取深度特征点Superpoint 完成回环检测,并设计了三角剖分验证和对极几何验证,显著提高了在高相似度且存在干扰的场景下回环检测的准确率和召回率。
在上述技术研究的基础上,构建了用于巡检作业的可穿戴式定位系统,开发了巡检定位功能和监控功能应用软件。定位功能软件主要包括环境地图构建和实时定位功能等模块,监控功能软件基于 Reactor 模式的服务器模型,提供可视化功能与交互功能。最后在真实/模拟作业环境和公开数据集上进行了模块和整体的实验,结果验证了方法的有效性。