基于深度学习的三维工件识别

来源 :哈尔滨工程大学 | 被引量 : 0次 | 上传用户:ericawanghnu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着工业自动化与智能化的发展,工业机器人被广泛应用于工业生产加工的各个环节,而在工件加工、分拣等过程中,首先就需要对工件种类进行识别。目前工业机器人中大多使用基于模板匹配等传统视觉算法来完成工件识别任务。随着工件结构越来越复杂,传统识别方法已经难以满足识别需求。本文中针对传统算法通用性较差以及其对工件位姿变化、环境噪声等因素鲁棒性较差等问题,分别采用基于RGB-D图像的深度学习算法和基于多视图的深度学习算法来完成对复杂三维工件的识别任务。文中主要以84类打磨工件为对象进行三维工件识别算法的研究,主要内容如下:(1)首先对本课题中所需数据集进行构建。通过Phong光照模型生成基于工件CAD模型的二维多视点渲染图数据集,通过Kinect v2相机来构建实际工件的RGB-D数据集。针对实际工件数据集中背景噪声等问题,通过Mask R-CNN网络对工件目标进行分割来达到隔离背景等噪声影响的目的,从而提高实际工件数据集的质量。(2)在三维工件识别任务中,本文首先采用基于RGB-D图像的多模态卷积神经网络进行识别任务。通过对彩色图像及深度图像进行配准以及图像尺寸调整,从原始工件数据集中分割出工件目标矩形区域并处理为固定尺度,对于深度图像中空洞以及噪声问题,通过像素滤波器以及中值滤波器对其进行处理,然后通过色图映射的方法将深度图编码为彩色图像作为网络输入数据,通过使用VGG-M网络预训练模型来进行网络训练。实验结果表明在位姿及视点相对固定的情况下,识别精度可达到93.2%。(3)由于多模态神经网络对视点及位姿等因素鲁棒性较差,本文又采用基于多视图的卷积神经网络算法并对其进行改进。分别运用基于模型的多视图数据集以及实际工件数据集对MVCNN网络进行训练,实验表明MVCNN网络在实际工件数据集上识别精度较差。文中针对该问题设计了一种分阶段的识别算法,通过对工件目标进行实例分割以及图像预处理来进一步抑制噪声,最后运用MVCNN网络进行识别,达到90.8%的识别精度。对于在分阶段识别算法中存在的特征重复提取以及掩膜映射误差等问题,设计了Mask-MVCNN组合网络,通过将掩膜直接作用于Mask R-CNN网络中输出特征图,得到工件目标的特征图并作为MVCNN网络分类阶段的输入。最后通过实验证明该算法有效性,算法识别精度达到92.4%。(4)最后对本文中两种方法进行对比。基于RGB-D图像的多模态神经网络在特定情况下识别精度达93.2%,同时只需对目标进行一次图像采集,识别速度快,但对于视点及位姿变化等因素鲁棒性较差。Mask-MVCNN组合网络识别精度略低于基于RGB-D图像的方法,但是对上述因素具有较强鲁棒性,更适用于具有复杂结构的三维工件的识别任务,但由于需要对多视点图像进行采集及特征提取,识别过程较为耗时。
其他文献
第一部分 放射组学在肾肿瘤恶性程度判定中的应用目的探究基于CT扫描的放射组学在不同恶性程度肾肿瘤影像特征提取中的准确性。方法分析回顾2013年1月至2014年6月在我院泌尿外科手术治疗的166例肾脏肿瘤患者,从病人术前肾动脉CTA动脉相的图像中提取出肿瘤组织的放射组学特征,采用LASSO-logistic法进行数据降维、特征筛选。并对筛选出的组学特征采用5折交叉验证,每次使用1折数据作为测试集,其
《民法典》确立不定期继续性合同任意解除权的一般性地位,该解除权的概念可以从适用范围和行使方式两方面进行阐释。在适用范围上,从阐释其内涵出发,对不定期继续性合同进行界定和解释。继续性合同的界定要注意和长期的一时性合同的区分,可从时间对给付总体的作用,以及隶属于同一合同的部分履行之于整体履行的关系进行把握。不定期则需满足无约定与无法确定两个条件。在行使方式上,对任意解除权的阐释需要把握任意性特征。我国
近年来,在食品的生产和加工过程中,食品安全卫生问题频频出现。食品中的污染物往往是多类共存,对人类的健康将造成直接或潜在的危害。常见的食品污染物有化学性污染物,包括兽药、农药残留,霉菌毒素污染等;以及生物性污染物,包括副溶血性弧菌、沙门氏菌等食源性致病菌。因此,研究一系列能快速同时地筛查食品中多类污染物的方法对于保障人民生活质量和安全具有十分重要的意义。然而,现有的食品污染物的检测方法,如色谱方法,
卵巢是哺乳动物产生配子(卵子)的场所,而卵泡的健康发育决定了动物的生殖潜能。研究表明所有的脊椎动物中都存在卵泡闭锁现象,绝大多数哺乳动物的卵巢中约有70%-99.9%的卵泡会在排卵前发生闭锁。卵泡闭锁过程十分复杂并且受到多种细胞因子调控。而非编码小RNAs(ncRNAs)就是其中之一,它们广泛参与体内细胞增殖、分化、凋亡,信号传导等多种生理调控过程,在各种组织、细胞活性或疾病发生过程中发挥重要作用
子宫内膜息肉不到3%发生恶变,病理类型、高危因素和诊疗方案与子宫内膜癌相同。由于子宫内膜息肉的局灶病变性质,应采取宫腔镜下子宫内膜息肉切除术获取病理学诊断,而不宜行诊断性刮宫或微量取样。子宫内膜息肉恶变的保守治疗也需要更加慎重。
近年来,由于计提巨额商誉减值导致上市公司业绩暴雷现象频繁发生,使得上市公司经营利润出现巨大亏损,引起了上市公司股价的大幅波动,对上市公司的长远发展造成了一定影响,基于此,本文认为研究商誉初始计量、后续计量以及对于管理层的监管十分重要。本文以汤臣倍健为研究对象,首先对汤臣倍健以及澳洲LSG双方的基本情况进行了介绍并了解其并购背景、巨额并购商誉的形成与减值计提过程,详细分析计提巨额商誉减值后的经济后果
随着物联网、云计算和移动支付等技术的快速发展,嵌入式系统在军事、汽车、医疗、通讯等领域得到广泛应用,尤其是众多嵌入式系统之间网络通讯、协同处理能力也得到进一步加强,这同时也给攻击者找到可趁之机。攻击者可以利用软件漏洞实施控制流攻击(Control Flow Attacks,CFA)进而对整个嵌入式系统进行控制。控制流攻击是指利用程序漏洞,通过篡改程序控制流的存储地址或控制流数据等方式,将程序导向并
随着集成电路(IC)的快速发展,IC的集成度不断增加,速度越来越快,功耗也在快速增加,集成电路优化设计变得越来越复杂。目前,集成电路优化设计主要是基于Boolean逻辑。但是大量研究表明,以Reed-Muller(RM)逻辑表示的电路在功耗、面积、速度和可测试性方面比传统Boolean逻辑表示的电路更有优势。固定极性RM(FPRM)展开式和混合极性RM(MPRM)展开式是两种常见的RM逻辑展开式。
人呼吸气中存在多种可用于癌症诊断的挥发性有机化合物(volatile organic compounds,VOC)气体,通过评估人体呼吸气中标志物VOC种类和含量的变化程度,可推断被测对象是否存在癌症隐患[1]。而传感器作为对信号传输、处理、存储、记录的主要检测装置,充分利用标志物的气敏特异性,设计高效检测癌症标志物的传感器,有望实现肿瘤的早期筛查和初步诊断。已报道的传感器普遍具有较好的灵敏度,对
随着信息处理量的需求不断提升,片上光互连网络的传输容量受到挑战,以光信号作为载体的多维复用技术开始崭露头角。其中,偏振分束器能够将光信号加在到正交偏振态上进行低串扰传输和分离,是偏振复用技术中的核心器件。而硅基光电子器件因兼容于CMOS工艺且在通信波段几乎无损透明因而受到广泛关注。鉴此,本文将从光子集成角度考虑,着重对片上集成型偏振分束器进行研究,其主要内容与创新之处如下所述:1、基于超表面辅助Y