基于机器人手眼系统的无纹理工业堆叠零件识别与定位研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:bjbdn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
工件装配是智能制造领域中不可缺少的组成部分,如今小批量与多样化的生产模式对装配工作的快速性、准确性以及灵活性均提出了更高的要求。与传统方式相比,基于协作机器人的智能化装配在保证产品质量的同时,能够最大限度地提高生产过程的柔性与效率。国内外对于智能装配技术的研究主要集中在工件的识别与定位问题上。本文以包含平面特征的无纹理工业零件为研究对象,以复杂背景下工件识别与高性能位姿估计为研究切入点,提出将堆叠场景的工件识别问题分步转化为平面提取以及基元重组的研究思路。本文的主要研究工作如下:(1)针对堆叠背景下深度平面分割的局限性,提出一种融合彩色图线特征的优化分割算法,并结合手眼系统的多视角优势实现平面特征的高性能提取。首先利用低成本RGB-D相机获取场景的图像信息,并实现彩色图的去高光处理与深度图的平滑去噪,减少图像中的噪声干扰;然后在深度图MSE平面分割算法的基础上,融合彩色图的Canny线特征,将图像节点的层次聚类过程优化为基于梯度边界的快速聚类过程,从而减少平面分割算法的运行时间,并提高工件边界的分割精度;最后借助手眼系统的优势,融合多视角下的场景平面基元,改善堆叠场景中点云遮挡或残缺的问题。(2)针对堆叠场景中遮挡导致的平面特征失真的情况,提出一种基于数据驱动的工件识别算法,通过训练工件的基元关系特征,实现复杂背景下工件基元的识别重组。首先利用Gazebo仿真软件生成虚拟堆叠场景的数据集,并研究工件基元特征的构造方法;然后利用特征选择和预处理方法实现特征数据的降维,并将处理后的数据分别代入随机森林、K-近邻和支持向量机等3种分类器模型进行训练,同时采用交叉验证的实验方案对分类器的性能进行定量评价;最终基于识别性能最好的随机森林分类器,设计堆叠工件的快速识别算法,对工件平面基元进行识别重组,并输出单个工件的实例点云。(3)针对堆叠场景下位姿估计的高性能需求,提出基于全局搜索的由粗到精位姿估计策略,从而在保证精度的前提下,提升位姿估计算法的运行速度。在位姿粗估计阶段,提出一种结合Harris关键点的Super Key-4PCS位姿粗配准算法,该算法能够在关键点集上利用智能索引方案实现快速的配准,并生成全局范围内的工件初始位姿;在位姿精估计阶段,以位姿准确度为主要需求,在初始位姿的基础上利用迭代最近点法获得工件的精确位姿;最后,本文在Linemod公开数据集上对提出的由粗到精位姿估计策略进行定量评价,并开展本文算法与其他优秀算法的性能对比实验。(4)为了将平面提取算法、工件识别算法以及位姿估计算法与实际的机器人控制相结合,完成工件的自动抓取任务,本文基于ROS框架设计堆叠工件的识别与定位综合实验。首先搭建了系统的硬件平台,完成对深度相机和机械臂的选型,并设计了末端执行器;然后设计位姿测量系统的整体架构,利用ROS实现三大算法模块的互联;最后分别在虚拟和真实场景下开展识别与定位综合实验,并利用手眼矩阵将成功定位的工件位姿转换到机器人坐标系下,实现无堆叠和强堆叠环境的抓取验证实验。
其他文献
医疗图像分割被广泛地认为是后续医疗图像处理中最重要的一个步骤,能大幅提高医疗诊断的效率和准确性。然而,纯手工的医疗图像标注成本非常高,一方面医疗图像大多是3D的,其标注需要耗费大量的时间资源,另一方面标注需要专业的医生,且其准确率与医生的经验密切相关。随着近几年卷积神经网络的快速发展,自动分割大幅提升了医疗图像分割的效率。然而在实际诊疗应用中,现有自动方法的精度和鲁棒性仍有待提高。为了得到一个更佳
板坯叠轧是目前国内外生产复合板的一种新的制造工艺,具有板材质量高、组织均匀、性能稳定等多种优点,在核电、石油化工、输送管道等领域具有广泛的应用前景。常规情况下采用的大坡口手工电弧焊焊接效率低,人为因素影响大,焊接质量不稳定。因此,采用机器人自动焊接是组坯成形技术规模化应用的必然趋势,而横向窄间隙坡口的多层多道焊道规划是其中一项非常重要的关键技术,目前主要存在以下几个问题:(1)缺乏基体金属支撑造成
全景视频作为传统视频与虚拟现实的结合产物,近年来获得了学术界和产业界的广泛关注。由于全景视频中包含了整个空间场景的画面,其数据量将远高于传统视频,这给全景视频的传输和分发提出了新的挑战。一些研究者针对一对一的全景视频传输场景提出了视区自适应传输模型。这类模型将根据用户的观看视角对全景视频画面的不同区域进行选择性传输,从而降低了全景视频传输的网络带宽需求。然而,对于多个用户的全景视频传输场景,现有的
随着深度卷积神经网络(DNN)在各种计算机视觉任务中的成功应用,人们希望通过设计出更深或更广的网络结构,来超越已有的经典方法,获得更佳的应用效果。绝大部分流行已久的经典卷积网络,都需要依赖数十兆字节的权重存储和数十亿次的浮点运算,才能进行一次前向推理,这使得它们难以广泛部署在资源受限的边缘设备上(例如手机、摄像头等)。量化被认为是满足终端设备对内存苛刻要求的最有效方法之一。然而,大多数量化方法将相
随着近二十年来互联网技术的不断发展,网络攻击的数量不断增长,种类也日益繁多。在近些年来,作为互联网的重要接入点--网页(Web)应用在安全性方面也面临着越来越严峻的挑战。同时,作为机器学习的一个子类--深度学习在最近十年中也有了跨越式的发展。深度学习的方法被广泛应用在Web攻击的检测中。然而这些研究仅仅将关注点放在了如何使用深度学习的方法提高在特定数据集上的检测准确率,而没有深入探究Web应用中产
三维数据有着广泛的应用,比如自动驾驶、机器人、游戏等。和一维信号与二维图像相比,三维数据往往缺乏规则的空间结构并且对旋转鲁棒性有着更高的要求。近年来许多研究这从以上两点出发设计了适合三维数据的深度学习方法,极大地提高了三维数据分析的性能。三维旋转是一种重要的三维数据表达形式,可以更直接地表达三维空间中的相对关系,例如人体骨架关节的旋转,物体在三维空间中的姿态等。相比于点云数据,三维旋转有着独特的群
通道剪枝在卷积神经网络加速中有着广泛的应用,但如今已经遇到了瓶颈,主要源于两处挑战:1)对冗余性准确而直观的测量;2)模型卷积层之间的依赖性使得冗余性动态变化,如何对此建模。为此,本文首先引入了dropout技术,其中包含一个dropout rate的参数,表达了在训练中丢弃通道的概率。考虑到传统dropout难以优化,本文推导出了高斯dropout,使得dropout rate可以在贝叶斯框架下
随着无线通信技术的发展,无线设备的数量也在急剧增加。第五代移动通信技术采用认知无线电技术和新的多址接入技术等方法来提升无线系统的频谱利用效率。然而,射频干扰攻击会对通信系统的可用性造成严重破坏。干扰器通过发射非法信号,可以阻止合法节点接入通信网络,也可以干扰进行中的通信,降低节点的通信速率。如何在新的通信环境下防御射频干扰攻击就成为了一个亟须解决的课题。以Q-learning为代表的强化学习算法具
为了应对近年来深度卷积神经网络(CNNs)对于计算和存储需求的快速增长,研究人员提出了多种方法来实现模型压缩与加速,其中包括低秩分解,网络剪枝,权重量化,神经网络结构搜索和知识蒸馏等。在上述方法中,基于网络剪枝的算法通常能够在易用性和压缩加速性能之间取得良好的折中,因此格外受研究人员青睐。尽管现有的网络剪枝算法在一些特定的深度学习任务上展现出了不俗的压缩加速性能,这些算法在更广泛的实际应用场景中或
目标物体的位姿识别和各种场景下的运动规划问题是非结构化环境下机器人作业的关键技术。一方面,现有位姿识别算法中,基于模板搜索匹配或者基于迭代的算法速度较慢,基于神经网络的算法往往模型体积较大,意味着更大的存储需求和计算量。而嵌入式的机器人系统往往存储和计算能力受限,但有实时性及精度需求。另一方面,机器人系统中往往存在多场景的运动规划问题,包括高维问题。因此,使用的运动规划算法需要便于泛化、适用于高维