论文部分内容阅读
随着电子产品运算能力的提升以及消费级技术成熟带来的成本降低,增强现实(Augmented Reality,AR)技术在制造业中的应用越来越广泛。当前的机载设备维护领域中,一般涉及大量仪器设备的维护和使用,这使得维护检修的步骤多且繁琐,此外还有查阅手册困难、人为失误等问题。这导致,唯有那些经过长期训练和经验丰富的专家才能够胜任工作。解决机载设备维修困难,减少人为失误,解放维修人员生产力成为一个具有价值的研究问题。为了辅助维修人员作业,降低维修门槛,提高效率,本文研究了一个基于增强现实的机载设备智能维修辅助系统。该系统一方面利用AR将虚拟的辅助信息混合到真实的作业环境中,指导维修员进行工作;另一方面通过图像检测识别模块,自发式地智能分析维修情况。为了实现兼具自然交互性和智能性的机载设备维修辅助系统,本文的主要工作包括:1.针对智能维修辅助问题,系统实现了图像检测识别模块,该模块以文本检测识别模型作为核心,包括基于EAST(An Efficient and Accurate Scene Text Detector)的文本检测和基于LSTM(Long Short Term Memory)的文本识别。并且针对机载设备维修特点建立了融合模型,该模型可以分析维修场景下的文本和特定图形,以此作为系统主动去感知维修进度的依据。2.针对虚拟信息的出现位置和文本识别语义理解问题,利用图像匹配技术,定位仪器设备在世界空间坐标系下的位置,来作为虚拟辅助信息的空间参考点。根据定位结果建立仪器与文本的映射关系。并且引入了空间锚点的方法,解决因目标定位信息错误引起虚拟物体漂移的现象,稳定地维持了目标定位的结果。3.开发了基于增强现实的机载设备智能维修辅助系统。该系统一方面集成图像检测识别和目标定位实现智能指导作用,另一方面通过以增强现实显示的方式,使虚拟信息以令人信服的感官效果在真实世界中出现,实现自然的人机交互。该系统用于辅助指导维修人员进行机载设备维修,有助于降低维修作业难度,提高维护效率质量。