基于深度学习的未知物体抓取技术研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:YouZiTou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
我国人口老龄化严重、残疾人口较多,使得载臂轮椅式助老助残机器人(Wheelchair Mounted Robotic Arms,WMRA)成为了当下研究热点。本课题以提升WMRA智能化、易用性与适应性为目标,提出并研制一种基于激光点直觉交互式WMRA,并对其中点取任意未知物体自主抓取这一关键问题进行研究。主要涉及非结构家居环境中激光点识别、点取物体分离、未知物体抓取框检测、二维抓取框到三维夹爪的抓取位姿映射等关键内容。具体如下:首先,为解决真实环境背景下的微小激光点识别难题,开展了基于卷积神经网络的光点识别与点选物体提取方法研究。选用在小物体识别方面精度较高、识别速度较快的YOLO v3算法进行激光点识别与精准定位,通过对图像进行像素级别处理,区分激光点与反光点。其次,为提取点取物体点云信息,开展图像滤波、分割算法、物体质心计算的研究,通过比对物体质心三维坐标与激光点的坐标,捕捉到激光点取物体,实现点选物体的快速分离。其次,为快速准确计算被点取物体的抓取位姿,提出一种基于Faster R-CNN的改进多模态算法。首先,设计Grasp Faster R-CNN模型识别抓取部位的位姿信息,输出五维抓取框(x,y,w,h,θ),解决抓取特征较多而造成的识别准确率不高的问题。其次,为减少复杂环境对抓取表示生成的影响,输入多模态信息使抓取更准确;最后,采用五维抓取框作为学习特征,解决传统抓取点表示方法缺少姿态信息而造成抓取成功率不高的问题。接着,为获取夹爪的抓取位姿,研究了从二维抓取框到三维三指夹爪位姿信息的映射关系。首先进行Xtion PRO Live摄像头的参数标定,获取到相机内参与外参。进而根据点云邻域的最小深度值确定抓取深度,使用标定参数进行转换,得到抓取坐标,继而通过计算平均法向量的方式获取抓取姿态,以将抓取五维表示精准地映射成三指夹爪能够执行的抓取位姿,该映射方法具有通用性,解决了国内较为回避实际抓取以及抓取成功率低的问题。最后,基于机器人操作系统ROS进行系统集成与实验研究,验证算法的可行性。将激光点检测算法与抓取框生成算法进行集成,并将抓取位姿传送给机械臂,实现抓取信息与机械臂之间的数据通信。最后,使用家居环境下的典型物体,进行未知物体抓取实验,验证本文算法的可行性。
其他文献
爬壁机器人是一种能够稳定地吸附在壁面上并在壁面上移动的高科技机器人产品,在搜救、侦查等领域有着广泛的应用。由于现有的采用传统吸附方式的爬壁机器人在实际应用时仍存在一定的不足,为减小爬壁机器人的质量并实现对机器人的远程脱缆控制,本文针对低能耗、小质量、壁面适应范围广、基于PLZT光电压驱动的静电吸附式爬壁机器人展开研究,提出利用铁电陶瓷材料镧改性锆钛酸铅(PLZT)的反常光伏效应产生的高压静电驱动机
随着中国人口老龄化进程的加速,老年人的健康安全问题逐渐引起人们的重视。跌倒是威胁老年人健康安全的最危险的意外事故之一。针对老年人的跌倒威胁,现有的研究主要集中于跌倒检测,用于跌倒后的急救处理,属于事后应急策略。然而跌倒对老人、家庭以及社会的伤害已经造成,弥补措施极其有限。因此,如何通过老年人身体状态评估,预测跌倒风险,制定相应的主动干预策略,降低老年人跌倒的发生概率,从根本上保障老年人的健康和安全
广阔的海洋中孕育着丰富的物种,随着先进技术的开发与利用,越来越多的海洋生物被人们认识与了解。丰富的海洋生物物种中因此也发现了很多类型的天然产物,萜类化合物就是天然产物中非常重要的一大类化合物。这类天然产物因为其新颖的结构、独特的空间构型,还有多种生物活性如抗肿瘤、抗病毒、抗癌、抗真菌等受到广大研究者的青睐。因此,从药物/药物化学的观点来看,开发有效和灵活的方法来合成具有生物活性的海洋天然产物及其类
区块链存证在刑事领域的开创性应用,提供了一种保证证据的真实性,增强证据客观性、关联性的客观印证机制。“客观印证”强调证据的客观性对事实认定准确性的影响,契合刑事裁判理念客观化的要求。区块链证据在刑事领域的应用,引发了区块链证据“客观印证”与传统印证模式之间的张力。研究因区块链技术带来的“客观印证”对现行印证规则的影响,明晰区块链证据适用中印证结论、信念理性、被告人权益的合理范畴,构建完善区块链证据
随着人类对智能化产品和服务的需求不断提升,使得人工智能产业迅猛发展。其中,目标检测技术在计算机视觉领域发挥着重要作用处于核心地位,目前已在人工智能产业中广泛应用。然而在实际工程应用中,目标检测技术在受到外界场景干扰时将导致其检测精准性和效率性等方面性能表现较差,因此,如何有效提升复杂背景下目标检测算法性能极其必要。为了提升目标检测算法在复杂背景下的性能,从而将其更好地应用到现实工程。对此,本文提出
元数据的运用改变了获取信息的方式。元数据因其可以描述数据外部特征而成为电子数据鉴真的重要依据,同时也因其可以描述资源内容特征而成为信息获取的重要渠道。从属性上看,元数据具有独立的证据属性,它既是一般意义上的“电子数据”,却又区别于法学领域的电子数据;它虽是大数据证据的基础,但又不能将其纳入大数据证据之中。对元数据的证据资格和证明力判断也具有特殊性。在适用元数据时,需要对其进行二元划分,确立其对非法
随着科技技术的快速发展,具有自主导航功能的移动机器人已经进入到了巡检、救援以及安防等各个领域。为实现移动机器人的自主导航,需要提前为移动机器人建立导航地图。目前,为移动机器人建立导航地图主要采用的是激光雷达传感器,但由于激光雷达传感器价格昂贵,遇到不反光或黑色的物体时容易产生错误的测量,影响定位与建图的准确性,因而采用视觉传感器完成定位与建图逐渐成为一个重要的研究方向。当前,基于视觉传感器的定位与
由于被动锁模光纤激光器结构简单,较为紧凑,发射的激光具有优良的光束质量、优异的稳定性,较高的成本效率,使其广泛应用于激光加工、光学传感、精密工业加工等领域。其中,非线性光纤环形镜(Nonlinear Optical Loop Mirror,缩写NOLM)以其优良的非线性特性和较高的响应速度得到了广泛的关注。随着对光纤激光锁模行为的研究,耗散孤子脉冲出现一些奇异脉冲现象:如耗散孤子、噪声型孤子、矩形
高熵合金具有优异的抗磨损和抗腐蚀性能,是制备涂层的理想材料。钨极惰性气体(TIG)电弧熔覆高熵合金涂层具有高效率高质量的特点,但同时存在晶粒粗大和元素偏析问题,导致力学性能及耐蚀性能劣化。针对以上问题,本文在分析国内外高熵合金涂层制备方式,以及超声辅助熔体处理、焊接及熔覆的基础上,以改善TIG电弧熔覆高熵合金涂层的组织、力学性能及耐蚀性能为目的,对超声辅助TIG电弧熔覆高熵合金涂层进行了试验研究,
随着雷达探测技术的发展,飞行器的隐身性能成为影响其安全性以及战场生存与突防能力的关键因素。此外,伴随飞行速度的提高,飞行器受到的气动加热效应加剧,雷达波吸收材料在追求“轻、薄、宽、强”的同时,还具有耐高温和抗氧化的特点,碳基吸波材料和磁损耗型吸波材料已无法满足应用要求。碳化硅纳米线(SiCnw)具有优异的力学、抗氧化和热稳定性能,被认为是最具前景的高温吸波材料。然而,作为一种半导体材料,SiCnw