基于深度补全的透明物体抓取研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:kruotreo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现有的机器人抓取模型大多都是针对不透明的物体或折射和反射率较低的物体来进行指定的抓取任务,无法对日常生活中常见的透明物体实施有效的抓取,从而限制了机器人的应用和发展。对透明物体进行深度补全是赋予机器人抓取技能的重要方法。通过运用深度补全算法,可以对透明物体缺失深度信息的原始深度图进行有效的补全,将补全后的深度图运用到抓取模型中,使得机器人可以有效地感知到透明物体的大小和位置信息,从而实行对透明物体的有效抓取。本文对透明物体的深度补全进行了研究,提出了带有光谱残差的自注意力生成对抗网络,用于对透明物体进行深度补全,并最终对透明物体实施有效的抓取。近年来对透明物体进行深度补全的研究主要是利用了基于几何约束的线性系统来预测缺失的深度值,这很难在端到端的框架中进行部署并实现联合优化。针对该问题,本文提出了一种对透明物体的原始RGB-D图像进行深度补全的深度学习方法。更具体地说,在数据预处理阶段,给定一张透明物体的RGB-D图像,首先获取到它的表面法线,表面遮罩和遮挡边界作为原始特征,然后拼接上视觉特征一起输入到一个生成对抗网络中,该网络利用生成器去预测缺失或不准确的深度值来补全深度图,并使用判别器来引导补全的深度图与深度图的真值相匹配。在生成器中,本文设计了具有光谱归一化的光谱残差块(SRB)以提高网络训练时的稳定性,并设计了残差块用来传递注意力图,从而捕获透明物体的结构信息并区分透明物体的几何形状。在判别器中,本文使用了基于补丁(patch-based)的卷积网络去调整预测深度图的数据分布,从而使得补全的深度值能够很好地逼近真值。在Clear Grasp数据集上的实验表明,所提出的带有光谱残差的自注意力生成对抗网络能以较高的精度对透明物体的原始深度图进行深度值的补全。即使是在真实物体上进行测试,本文的模型也展示出弥合模拟数据与实际应用之间差距的出色能力,充分证明了模型具备良好的泛化性和鲁棒性。最后,将所提出的深度补全方法部署到协作机器人Baxter上,准确且高效地完成了对透明物体的抓取任务,进一步验证了本文方法的有效性。
其他文献
社交媒体平台下话题多种多样,个体与个体之间通过关注关系、传播关系的网络结构发生信息交互,影响着每一个人的观点行为。本文围绕社交网络中的“话题检测”和“传播人物挖掘”两个核心问题,以Twitter为主要场景展开面向社交网络的话题检测与分析、基于多种关系网络的传播人物挖掘的研究。具体工作内容包括如下3个方面:(1)针对话题检测下的短文本预处理和话题发现的研究,现有方法存在短文本处理不全面、主题模型检测
学位
将全球卫星导航系统(Global Navigation Satellite System,GNSS)运用在列车自主定位中是列车运行控制系统的重要研究方向之一。基于全球导航卫星系统的定位技术和电子通信技术将会被运用于之后的列控系统中。这其中实时位置和速度的获取是列控系统的关键技术之一,为了满足列车精确定位和测速等方面的更高的精度和完好性的要求,轨旁增强网络的研究和搭建被提上了议程。轨旁增强网络提供的
学位
随着我国工业行业的不断发展促进国家经济水平的提升,但是工业生产过程中需要应用大量水资源,生产中所产生的废水不仅对环境造成了严重污染,还浪费许多水资源。近年来,国家越发重视水污染问题,以及绿色生态文明环境的建设工作,为此,国家环境保护部门加大工业废水的处理力度,运用合理的技术方法进行废水处理,达到工业废水再利用的发展目标,进而改善废水的污染问题,促进环境保护部门监管效率的不断提升。因此以工业废水的分
期刊
命名实体识别作为自然语言处理领域的基础任务,被广泛应用于知识图谱构建、信息抽取和对话理解等下游任务。近年来,随着深度学习的迅速发展,基于神经网络模型的命名实体识别方法取得了长足的发展。然而,深度学习方法往往依赖于大量标注数据,且人工标注费时费力,导致其在低资源场景中的表现受限。在实际应用中,命名实体识别任务在生物医学、材料科学等专业领域存在严重的标注数据匮乏问题。为了解决上述问题,现有的一些研究工
学位
随着社会工业智能化的发展,智能服务机器人已经走进大众的生活,在未来将会起到不可或缺的作用。抓取检测是机器人的一项主要能力,开发实用的抓取检测方法和技术是机器人研究领域的核心研究方向之一。然而,现有的抓取检测方法通常是基于无标签的外观形状特征进行检测,在其训练过程中固定了样本的类别和数量,模型只能学习到有限的知识,对于已学习过的样本表现出较好的泛化能力。然而由于在实际场景中,物体的形状、颜色和大小等
学位
在当今的环境监测工作中,废水监测是一项主要的工作内容,尤其是工业废水监测,更是对水环境污染的及时发现与治理至关重要。在发现了工业废水污染超标情况之后,相关单位也需要采取合理的技术措施进行工业废水处理,以此达到良好的污染治理效果。基于此,本文对环境监测废水以及工业废水处理技术进行了分析,包括环境监测分析工业废水的主要分类与特征、工业废水主要处理方法、工业废水处理技术实际应用。希望通过本次的分析,可以
期刊
我国自第一颗东方红卫星成功发射以来,至今已有400多颗在轨卫星,分别承担着科学探测、技术试验、导航定位、通信广播等重要任务。在对卫星故障的统计中,姿态控制系统故障占比最高,而动量轮作为其执行机构需要不间断地做旋转运动,更易发生故障。随着通信、大数据等技术的蓬勃发展,在轨运行卫星产生了海量的遥测数据。但截至目前的星上故障检测仍以专家系统或阈值法检测为主,具有依赖专家经验、及无法检测检测未知故障等缺点
学位
二图匹配是指通过最大化两个图之间的结构相似性得分,找到两个图之间的节点对应关系。该问题被广泛应用在计模式识别、信号处理、计算机视觉、计算机图形学和生物信息学等领域,具有广泛的理论价值的应用价值。不同于传统的点匹配问题,图匹配问题不仅要考虑点集之间的一致性,还要考虑二阶的边集之间的一致性,本质上是一种难以在多项式时间内求得全局最优解的二次组合优化问题。因此,大多图匹配算法通过对目标函数或约束条件进行
学位
近些年来随着互联网的发展,随之而来产生了大量的多媒体数据(例如,图片,文本和视频),这些数据通常都会被存储到数据库中,如何在这些数据库中找到人们所需要的语义相关联的信息变成了一个非常具有挑战性的任务。解决此类挑战性任务的方法是信息检索,而跨模态哈希检索作为信息检索的其中一个分支,具有计算速度快,存储效率高的特性,是解决大规模多媒体数据信息检索最有希望的手段。本文从跨模态哈希检索的三个子任务出发,结
学位
原油经过一定的炼制流程可以生成各种原油产品,作为“工业血液”在社会经济中具有广泛作用。随着各个国家对原油数量和品种的需求日益增加,同时全球生态环境面临的挑战形势愈发严峻。因此,对炼油企业的生产有了更加严格的要求,不仅要提高原油利用率和企业效益,而且还要满足节能、环保等需求。由于炼油过程中存在不确定、多目标和多约束等特性,原油短期生产计划与调度成为研究热点。由于该类问题的复杂性,目前缺乏有效的工具和
学位