【摘 要】
:
视觉定位技术因其仅需相机采集的视频序列就能实时解算相机位姿,在微创手术、增强现实以及自动驾驶等领域有着广泛的应用前景。然而多数视觉定位算法基于静态场景假设,动态物体会破坏相机与地图点的几何约束,导致相机定位丢失,这在安全领域十分致命。本文为了解决这一关键问题,利用深度学习网络预测的深度及语义信息,提出一种动态环境下的单目视觉定位算法。研究内容如下:1.用于单目视觉定位的深度预测与语义分割联合估计网
论文部分内容阅读
视觉定位技术因其仅需相机采集的视频序列就能实时解算相机位姿,在微创手术、增强现实以及自动驾驶等领域有着广泛的应用前景。然而多数视觉定位算法基于静态场景假设,动态物体会破坏相机与地图点的几何约束,导致相机定位丢失,这在安全领域十分致命。本文为了解决这一关键问题,利用深度学习网络预测的深度及语义信息,提出一种动态环境下的单目视觉定位算法。研究内容如下:1.用于单目视觉定位的深度预测与语义分割联合估计网络研究。为提供给视觉定位算法高精度的场景深度信息及动态物体的语义信息,进而提高视觉定位算法的相机位姿估计精度,本文设计融入场景上下文信息的深度与语义联合估计网络(Contextual Information Network,CI-Net)。首先,提出场景理解模块,利用语义标签及交叉熵损失函数为网络注入上下文先验信息。随后,提出特征交互模块,利用多个上下采样操作融合不同任务的特征,并设计用于任务间相互指导的一致性损失函数。最后在公开数据集上验证各模块及损失函数的有效性。2.用于动态环境下视觉定位的动态特征点滤除算法研究。针对单一语义分割或几何约束方法分割动态特征点不准确进而影响单目相机位姿估计的问题,本文提出一种结合极线约束及语义分割的动态特征点滤除算法。几何约束方面,改进移动一致性检验算法,计算各特征点基于极线约束误差的动态概率值;语义分割方面,利用CI-Net预测的语义向量计算出各特征点基于语义分割的动态概率。随后设计自适应概率融合函数融合两类动态概率并滤除概率高于阈值的特征点。最后在多个场景验证了该算法的有效性。3.动态环境下融合历史深度及语义信息的视觉定位算法研究。针对现有动态视觉定位算法未充分利用历史深度及语义信息,导致相机位姿估计精度受限的问题,提出一种基于融合历史深度及语义信息的动态视觉定位算法。首先在CI-Net基础上提出融入不确定性预测的深度语义联合估计网络,利用网络预测的语义不确定性融合当前帧与历史帧的语义信息,计算得到更加准确的各特征点基于语义分割的动态概率值,进而结合动态点滤除算法获得更优的动态点滤除效果。此外,根据不确定值筛选网络预测的高质量深度值,并提出深度信息融合算法优化关键帧中的深度值,以获得更优的相机位姿估计精度。最后在公开数据集上验证该算法的有效性。最后总结论文的研究工作,并对未来动态视觉定位算法的研究计划进行展望。
其他文献
随着化石能源的消耗以及环保意识的提高,社会对清洁能源的需求逐渐增加。太阳能具有易于获取,存量几乎无限、不受地域限制等优点。基于光伏效应,太阳能电池能将太阳能转换成电能,为各种用电设备提供动力。目前,太阳能电池已经基本实现自动化生产,但在生产过程中,由于各种因素,不可避免地会出现缺陷的产品。这些缺陷产品容易引发安全事故,威胁人民群众生命财产安全,必须进行甄别。本文研究了太阳能电池背面电极,通过计算电
近年来,随着计算机、自动化、通信等技术和产业的日新月异,推动四旋翼无人机领域及其相关行业不断取得突破与创新,其研究和应用已经扩展到航空摄影、地质调查、军事应用等各行各业,服务社会。四旋翼无人机路径规划已成为无人机领域一个热门的研究课题。本文针对智能优化算法在四旋翼无人机二维、三维路径规划方法的研究与应用展开探讨,着重围绕着粒子群优化算法、人工势场法、狼群算法的改进策略进行深入研究,提出了相应的改进
雾霾、沙尘、水下等特殊成像条件下观测到的图像,易受到传播介质的影响,呈现对比度低、细节丢失、色彩畸变等问题,降低成像质量,甚至丢失特征信息。这些都影响了后续的识别、检测任务,给监控、探测等机器视觉应用带来困难。近年来,基于成像物理模型方法和数据驱动方法在图像复原领域均取得了显著的成效。因此,本文针对雾霾、沙尘、水下等条件下的观测图像,基于成像物理模型,结合循环生成对抗网络,研究模型与数据联合驱动的
放卷侧张力系统是整个卷绕系统中极其重要的组成部分,放卷侧的张力稳定是后续加工质量最基础的保证。然而放卷侧系统是一个典型的时变非线性系统,体现在系统存在多种外部输入的非线性扰动,以及放卷辊半径随系统运行而逐渐减小,这些非线性因素影响着张力的稳定程度,制约着系统运行速度。因此,研究放卷侧张力系统的控制问题,对于提高张力控制精度和提升生产效率有显著的意义。本文以放卷侧张力系统为研究对象,研究了放卷系统的
在控制系统的设计上,线性二次跟踪(linear quadratic tracking,LQT)问题是一个重要的研究领域。LQT的目的是为了设计一种控制器,使得其输出信号通过最小化预定义的性能指标以最优的方式跟踪上参考信号轨迹。将基于状态反馈的强化Q学习(Reinforcement Q-Learning,RQL)方法应用于LQT问题可以求解线性系统动力学信息未知的情况,但是需要系统状态变量是完全可测
<正>今年是"十四五"开局,在防灾减灾日期间,国家减灾委员会办公室、应急管理部联合部署开展防灾减灾宣传周活动,全国各地围绕防范化解灾害风险、筑牢安全发展基础为主题,广泛开展防灾减灾救灾宣传教育和应急演练工作。5月11日,第十一届国家综合防灾减灾与可持续发展论坛在兰州举办。百余位专家学者齐聚黄河之滨,围绕"全面推进自然灾害防治体系和能力现代化"主题开展交流讨论,为国家自然灾害防治体系和防治能力现代化
对于航空发动机来说,其气动稳定性问题主要来自于压气机,旋转失速和喘振是两种主要的失稳现象,这些现象对于发动机的性能和安全性带来了极大的威胁。通常认为旋转失速是喘振发生的先兆,因此对压气机的旋转失速现象开展研究,做到对旋转失速的提前检测,对于预防喘振发生,降低发动机的运行安全隐患具有重大意义。确定学习是利用径向基函数神经网络对具有周期或回归轨迹的动态系统进行局部辨识的理论。利用该方法可以对压气机非线
群机器人系统的研究是机器人学的一个新兴热点,它受启发于复杂的自然系统,如社会性昆虫(蚂蚁、蜜蜂等)和其它有集体协作的动物群体。群机器人系统的智能行为涌现自个体机器人之间实施的简单规则在集体层面的交互作用。作为群机器人系统一个十分典型的任务平台,群机器人围捕系统在军事任务、搜索营救、目标跟踪与监视、反恐任务和安全保卫等领域都具有十分重要的研究价值。然而目前群机器人围捕系统的理论尚不完备,所研究的围捕