基于关键点预测的工件视觉定位技术研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:yun3531
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人口老龄化逐年加重、人工成本增高等问题逐渐显露,工业生产过程朝着智能化和自动化的方向发展,机器人代替人工生产的方式十分普遍,我国的第十四个五年规划和2035年远景目标纲要明确将机器人技术列入重点突破的科技领域,其他国家也已发布相关战略推动机器人技术的发展。装配工序作为产品生产过程中的关键工序约占总生产时间和总成本的50%和30%以上,利用装配机器人进行生产作业能大幅提高生产效率,降低成本,具有重大意义。近年来,人工智能和计算机视觉技术的飞速发展为机器人实现更高程度的智能化和自动化提供了方向,如今的许多机器人产品都搭载了视觉系统,赋予机器人自我感知能力,能够实现无人作业。在众多视觉检测方法中,按检测特征的不同主要可分为三类:手工特征、深度学习、点云特征。基于手工特征方法易受光照条件、背景和遮挡等干扰因素的影响,而使用点云特征的方法对点云模型构建精度要求较高。本文采用深度学习方式,根据实际问题,对基于关键点预测的工件视觉定位技术展开研究,主要工作如下:(1)搭建了一个工件视觉定位系统,为了提高识别准确率,采用分步式估计方法,先由深度神经网络预测工件关键点向量场,再由向量场投票预测关键点,最终由关键点计算工件位姿,并介绍了该系统的硬件组成和软件设计思路。(2)针对位姿估计训练数据集的制作过程中,真实位姿难以获取的问题,本文以Real Sense F200深度相机作为图像采集设备,结合Ar Uco位姿检测标识和ICP点云配准技术,采用离线的方式,计算出了工件的位姿信息,并构建了一组包含彩色图像、深度图像、工件掩码图像、工件位姿等信息的数据集。(3)为了保证位姿计算的稳定性,以FPS算法为主要策略,从工件表面选取最佳目标关键点,再根据装配基准选取辅助关键点;在PVNet深度网络框架的基础上搭建了深度神经网络模型,通过训练实现对输入图像中工件区域的语义分割和针对各个关键点向量场的预测。(4)由向量场预测结果生成关键点假设,并根据基于RANSAC算法的投票策略由投票点对关键点假设投票;为了降低误差,对投票结果进行分析,改进优化投票策略。根据关键点投票结果分布,确定参考点,输入Pn P求解器,计算出工件位姿,生成有向包围盒显示位姿结果。(5)通过数据集验证实验,证明了数据集的有效性;进行了位姿估计实验,并根据ADD度量对工件位姿定位结果进行评估,得出位姿估计86.05%的结果误差小于10mm;由Steward并联平台带动工件运动,将视觉定位系统位姿与平台反馈位姿进行比较,验证了系统估计结果的准确性;通过在主体被遮挡、截断和复杂背景干扰、人为干扰等条件下进行实验,验证了系统具有一定的鲁棒性。
其他文献
随着电力体制改革的深化应用,多种能源的市场交易管控能力受到原来交易支持管理中心建设目标和需求的限制,前期未充分考虑目前新能源市场发展态势,难以适应电力市场发展提出的现货市场运营、全市场交易品种、全品种结算等新挑战。因此本文在原交易市场技术支持系统基础上进行了架构重设,按照交易需求增设了实时交易、合约市场等多个管理功能子系统,均部署在电力市场交易技术支持系统中,并研究了在新能源并网的新形态下三种电力
目的:利用CT图像上获取的部分定性定量资料、以及提取到的影像组学特征建立组学模型和联合模型,运用两种模型对表现为纯磨玻璃结节的肺腺癌的浸润性进行预测,并比较二者的预测能力。资料与方法(方法):回顾分析2018年1月至2020年10月期间在吉林大学第一医院放射线科行肺部CT检查发现病灶表现为小于等于3cm的纯磨玻璃结节的患者图像,筛选其中于吉林大学第一医院胸外科进行手术,术后病理报告结果证实为肺腺癌
随着社会的发展,人们生活水准的提升,环境的问题成为了人们关心的重点。其中大气问题尤为严重,比如大量工厂排放污染气体造成雾霾、酸雨、温室效应等问题。气敏传感器是一种可以检测有害气体的元件,它最重要的组成成分之一是气敏材料。金属氧化物半导体材料是气敏材料中的一种类型,因为它的灵敏度高、响应恢复速度快等特点,受到研究人员的普遍注意,成为了气敏传感器研究的主流方向。而CuO作为金属氧化物半导体材料的一种,
目的:探讨基于IVIM功能图的影像组学模型在术前预测直肠癌患者脉管浸润状态的应用价值。方法:回顾性分析吉林大学第一医院2019年1月至2020年1月,行直肠高分辨核磁扫描(包含多b值弥散序列)并在2周内进行手术获得病理结果并证实脉管浸润状态的83位直肠癌患者(阴性:阳性=51:32),以7:3的比例随机分为训练组和验证组(58:25)。我们分别在DWI(b=1000mm~2/s)、IVIM功能图(
Ti-6Al-4V合金具有屈服强度比高、无磁性、可焊接、密度小以及抗腐蚀能力强等优点,是应用最为广泛的钛合金材料。以Ti-6Al-4V合金为原材料的构件,常被用于航空发动机、海洋探测器、船舶耐压壳体、医疗器械等领域。Ti-6Al-4V合金应用场景具有多样性,拉伸、弯曲等单一和复合载荷是Ti-6A1-4V合金常见的服役工况,因此需对其力学行为开展更深层探究。现阶段缺乏对复合载荷作用下不同微观组织Ti
随着工业化、城市化不断推进,我国的土壤资源在数量和质量上均面临着新的形势与挑战,这就要求我们要提高对土壤地位与重要性的认识,对土壤性质进行分析,合理利用土壤。为了更好地研究土壤,需要在实验室内进行各类试验,如岩土容重试验,实验的准确性与真实性决定了我们对土壤认知的准确性与真实性,而影响实验准确性与真实性的最大因素就是取得土样的质量。因此,本文基于人工环刀取土实验步骤,结合自动化控制技术,研制一台实
随着医疗技术的不断发展,金属植入体在骨骼修复手术中的应用越加广泛。通过传统方法制造的金属植入体密度大,弹性模量远大于人体骨骼,植入人体后会产生应力遮挡的现象,造成植入后的松动进而导致植入手术的失败。因此需要平滑植入体与骨骼之间的力学差异,通过孔结构参数化方法,使其力学性能与骨骼相接近,从而提高结合率。本文通过CAD设计方法和选区激光熔化成形(SLM)技术对多孔结构进行设计和制造,采用有限元分析和压
产品的固有可靠性首先是由设计决定的,载荷谱因能够反映产品载荷的变化规律,在机电产品及零部件的可靠性设计和疲劳寿命分析中被广泛应用。针对现有载荷谱编制方法中典型工况难以选取及切削复现难度大、工作量大的问题,本文开展了基于深度置信神经网络预测模型的数控车床切削力谱编制方法研究,对其中测试工况的确定及测试系统的建立、载荷信号分布拟合、切削力的均幅值预测模型构建、载荷外推及程序加载谱编制进行了探究,主要研
目的:利用不同粒径大小的煅烧骨粉颗粒和胶原构建软骨组织工程支架,并探讨骨粉颗粒粒径大小对复合支架理化性能的影响。方法:1.复合支架的制备:分别将大颗粒骨粉(直径1-2mm)和小颗粒骨粉(直径0.25-1mm)同20mg/ml胶原蛋白按照质量比3:2充分混合均匀,用冷冻干燥法制备大颗粒煅烧骨粉复合Ⅰ型胶原支架编号为A组,小颗粒煅烧骨粉复合Ⅰ型胶原支架编号为B组.2.复合支架材料性能的检测:观察两组支
传感器是智慧农业的源头技术,智慧农业急需大规模发展传感器产业,但是我国农业传感器敏感材料与核心元器件90%以上长期依靠进口,亟需在核心技术方面取得全面突破。本文聚焦设施农业温室环境,开展半导体气敏传感器敏感材料制备与器件研制,针对农业生产资料化肥、农药中的挥发性有害气体氨气的浓度实时监测,为温室环境调控提供数据支持。本文重点突破敏感材料制备关键技术,设计传感器控制电路及数据采集系统,开展实验室、温