混合现实技术的发动机零件三维识别研究与实现

来源 :四川大学 | 被引量 : 0次 | 上传用户:rogiangel
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于航空发动机机体结构复杂,具有拆装难、维修不易的特点,新手操作者对各种发动机零件类型的不熟悉,在航空发动机换发领域存在培训难上手、实践成本高等问题,因此,常利用目标检测方法对零件类型进行分类检测。但由于实际环境中零件堆放杂乱,容易出现遮挡的情况,利用传统的单一目标二维识别方法会因为无法提取足够的特征信息,易出现错误的检测结果,无法满足需求;同时,传统的换发培训流程是基于纸质或电子文档,培训效率较低。基于上述问题和研究难点,本文提出将可以利用深度信息的三维目标检测加入发动机换发领域进行研究,并结合神经网络的相关知识,获取复杂发动机零件的分类、空间位置和位姿信息;同时与混合现实技术相结合,可以以全息投影到眼前的方式直观感受各零件的虚拟检测信息,并以全新的交互方式与虚拟零件模型进行实时交互,使新手操作者能获取更直观的感受。因此,本文针对三维目标检测和混合现实的相关技术,对以下内容进行研究与实现:(1)跟只对单一目标进行识别的二维检测不同,航空发动机零件往往互相关联复杂、散乱,利用二维目标检测容易无法适应杂乱环境。本文利用基于深度学习的三维目标检测算法,实现对于发动机零件的精确检测。同时为了提高零件的识别精度和在复杂环境中的鲁棒性,本文利用空间上下文感知的混合现实方法生成零件数据集用以训练和测试。(2)针对新一代Holo Lens2混合现实头盔独特的空间映射功能,利用RGB-D相机辅助的跟踪注册技术,完成虚拟发动机零件模型在混合现实场景下的注册,并设计一种新型的手势、语音指令方式实现与零件模型进行实时交互。(3)在前面研究点的基础上,本文创新性地提出了整合混合现实和三维目标检测的关键技术,用于解决发动机换发领域存在的问题。通过将三维零件检测模型与Holo Lens2混合现实头盔相结合,实现了基于Holo Lens2的零件识别交互系统。该系统可以对复杂环境中的发动机零件进行识别定位,并结合SLAM系统完成对零件的持续稳定追踪,实现检测零件在空间中的连续定位,完成混合现实效果。实验结果表明,本文的方法通过将基于深度学习的三维目标检测和混合现实关键技术相结合,并设计简单自然的交互方式,能够以较高精度实现对发动机零件识别检测,是一种工业领域上的创新,能够为零件检测、换发培训学习上提供全新的可视化交互体验。
其他文献
经皮椎弓根螺钉内固定术是治疗脊柱压缩性骨折、脊柱损伤及退行性变的常用微创手术方法,椎弓根穿刺定位及脊柱钻孔是其中的重要步骤。就脊柱钻孔而言,国内大多数医院,都是由医生手持骨钻进行脊柱开孔;长时间手持骨钻出现的疲劳以及生理颤抖增加了脊柱钻孔时的潜在风险。医生徒手拖动控制脊柱手术钻孔辅助机器人介入治疗成为一种新的解决方案。本文对脊柱手术钻孔辅助机器人的运动学、工作空间和变形作了系统的研究,并提出了一种
随着“中国制造2025”战略的提出,工业制造业网络化、开放化、智能化的趋势越来越明显。基于实时工业以太网现场总线技术的运动控制器正在逐步替代传统的总线运动控制器。EtherCAT总线凭借其传输速率快、实时性和同步性强,拓扑结构灵活多样等诸多优点,成为运动控制领域控制器的研究热点。本文面向多轴运动控制,对基于EtherCAT总线的主站控制器展开研究和开发,主要内容如下:1.梳理EtherCAT技术的
世界森林面积减少,国内林木资源短缺,制约了地板产业的发展。为突破地板产业发展的瓶颈,同时响应党中央五大发展理念的“绿色”发展理念,新材料地板替代实木地板成为地板行业重要的改革方向之一。那么,为提高新材料地板的质检效率,对新材料地板的缺陷检测成为重要的研究课题。目前新材料地板的缺陷检测多为人工检测,其检测精度不高且耗时较长,同时一线质检员人数较多,生产现场存在粉尘、油漆、噪音等污染和设备使用的安全隐
随着科技水平的突飞猛进,人们对于电子产品的需求和依赖大大提高。印刷电路板组件(PCBA)作为电子产品中的核心元件,它的可靠性直接影响着电子产品的寿命。因此,人们一直在追寻探索一种高效清洁的PCBA清洗方法。而二氧化碳雪清洗在清洗金属表面,半导体元件,精密仪器等方面都有着良好的表现。不仅对电子元件表面无损伤,而且作为一种绿色清洗技术,它对环境的影响较小,没有残留副产物的产生。然而,系统性地利用二氧化
随着我国经济发展速度的提高,在工业高端制造领域,对加工能力有了更高的要求。“中国制造2025”明确提出将数控机床列为“战略必争领域”,发展数控机床产业已成为国家战略。近年来,自动控制技术、计算机技术以及人机交互界面技术发展都比较完善,在汽车、动车、飞机、航天、航空、兵器装备等工业领域,很多零部件存在各种样式的孔,数控钻床已成为这些孔在进行钻削加工时的首选。本课题来源于导师与四川省科技厅共同合作的省
并联机器人作为一类全新结构的工业机器人,经过半个世纪的发展,已经得到深入研究和广泛应用。相比于串联机器人,并联机器人具有精度高、刚度大、承载能力强、易于控制等诸多优势,被广泛应用于航天、航空、精密制造业等高精尖领域。以并联机器人为执行机构实现复杂型面、不规则孔洞等的原位高精度加工就是一种并联机器人新的应用场景。要实现并联机器人对不同类型工件的加工,首先需要对其机构自由度、运动学性能等方面进行研究。
宫颈癌一直危害着女性的身体健康,也是现代医学治疗领域中的一大难题。目前主流的治疗方式是采用化疗和放疗相结合,放疗一般又分为外照射和内照射。宫颈癌位于子宫颈部,如果采用外照射的放射方式,由于外照射放射剂量大而且范围广,从外向内进行照射,就会对其他正常的组织细胞产生伤害。所以一般采用近距离放疗的方式,它剂量低,辐射范围只针对肿瘤区域,粒子从内向外辐射,即能起到杀死肿瘤的作用,还减小了正常细胞的伤害,在
科学技术的发展带来了机器人技术的革新,从最初的只能示教再现的机器人,到具有初步感知编程能力的机器人,再到如今高度智能化的机器人,机器人技术经历了飞速发展的60年。如今,机器人在工业生产中扮演着重要的角色,展现出了巨大的发展前景。尽管机器人技术进步飞速,但六轴机器人的轨迹规划一直是一个难题,末端执行器在运行空间直线,空间圆弧等轨迹时,仍然会有描述轨迹的计算量过大,关节轴冲击过大和运行时间过长等问题,
SDN(Software Defined Network)是一种新型的网络架构,解耦控制平面与数据平面,实现网络的集中控制,有效解决了传统网络配置复杂、设备管理困难等问题,能更好的实现全局优化。但随着网络规模的不断扩张,单控制器部署有限的处理能力以及易出现单点失效等问题,已成为整个SDN网络的瓶颈。因而多控制器部署已成为必然趋势。但由于网络流量具有时变性和突发性,极易引发控制平面负载不均衡,致使网
叶片是航空发动机、燃气轮机等动力机械中的重要零件,其型面的加工质量严重影响着整机的工作性能,因此对其型面轮廓进行检测是十分必要的。叶片型面一般为变截面的扭转曲面,同时型面曲率变化较大,具有较大的检测难度。传统三坐标测量法通过获取叶片型面特定截面的轮廓数据评价出叶片加工质量,适用于精加工叶片的检测,无法反映出叶片整体的尺寸偏差,同时对检测环境具有较高的要求,无法实现叶片在线检测。随着光学测量技术的发