基于深度图像和深度学习的机器人抓取检测算法研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:xj3301365
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对服务机器人在非结构化工作环境中面对大量未知物体而难以实现有效抓取检测这一问题,本文借鉴深度学习技术在计算机视觉领域获得的巨大成功,对深度神经网络在机器人抓取检测问题上的应用进行了研究。同时,本文使用深度图像作为网络输入以减少彩色图像中物体与背景颜色等因素的影响,从而减少网络的学习难度,进而提高抓取检测算法性能。本论文针对Baxter机器人的抓取算法研究,建立了一套基于Kinect V1深度相机的机器人自动抓取系统,设计了两种基于深度图像与深度神经网络的抓取检测算法,通过实验测试了这两种算法的性能。首先,建立了机器人自动抓取系统的基础框架,对其中的深度相机模块进行了原理介绍,给出了机器人及其可配置平行爪夹具的具体参数,分析了抓取检测算法中抓取的平面以及三维表示,并给出了利用深度神经网络实现抓取检测算法的思路。其次,实现了一种先采样候选抓取,再对候选抓取通过深度神经网络进行评分进而选出最佳抓取的两阶段抓取检测算法。通过设计一种基于夹具宽度与桌面距离的深度图像归一化算法,并利用其对灵活网络(Dexterity Network,Dex-Net)2.0数据集进行处理,得到了可将抓取知识迁移到多种夹具尺寸、相机配置与物体距离情况下的改进Dex-Net 2.0抓取分类数据集。基于抓取质量卷积神经网络(Grasp Quality Convolution Neural Network,GQCNN)的结构,结合改进的数据集的数据格式,设计了改进的抓取质量卷积神经网络。在改进的Dex-Net 2.0抓取分类数据集上训练并验证改进的抓取质量卷积神经网络,取得了 0.889的分类准确率与0.859的平均分类精度。再次,设计了一种从输入深度图像端到端检测可行抓取的单阶段抓取检测算法。通过处理Dex-Net 2.0原始数据集得到了相应的抓取检测标注数据集。基于单阶段目标检测与锚框的思想设计了直接在输入深度图全图上各区域预测多组抓取的抓取检测全卷积神经网络。在抓取检测标注数据集上训练并验证抓取检测全卷积神经网络,取得了 Dice系数为0.52的抓取预测准确率,0.16像素的平均抓取位置预测误差以及5.1度的平均抓取角度预测误差。最后,在仿真与实际环境中测试了算法性能。基于Gazebo搭建了仿真实验环境,在ROS中建立了自动抓取系统,从耶鲁-卡耐基梅隆-伯克利(Yale-CMU-Berkeley,YCB)物体与模型集中收集了用于测试抓取算法性能的测试物体集,在多种相机位姿下测试对比了两阶段与单阶段抓取检测算法的抓取预测准确率与速度,获得了仿真环境下两阶段抓取检测算法79%的平均抓取预测准确率与829ms的平均计算用时,单阶段抓取检测算法88%的平均抓取预测准确率与4ms的平均计算用时。基于Baxter机器人和Kinect V1深度相机建立了实际抓取系统,对深度相机进行了内参标定,对机器人与相机之间的变换关系进行了眼在手外的手眼标定。收集生活中常见的10个物体,基于表现较好的单阶段抓取检测算法进行了实物抓取实验,自动抓取系统对其中9个物体都实现了成功抓取。
其他文献
对嘉定两个站点PM10进行连续监测,研究结果表明:气象条件是浓度变化的主要因素,两地区11月、12月和1月浓度较高,与该季节污染物扩散条件差有关;3月、4月和5月浓度较高,与春节北方沙
采用微波消解处理样品,用冷原子吸收测汞仪测定桃金娘果汞。最优的条件为:50%硫酸体积0.70 m L;10%氯化亚锡体积0.60 m L;清洗时间5 s;积分时间120 s。结果浓度与强度形成良好
对红外分光光度法测定水中石油类进行了探讨,通过减少四氯化碳使用量,用玻璃纤维滤膜代替玻璃砂芯漏斗过滤脱水,对样品进行实验分析,结果能保证分析的准确度,表明该方法具有可操作
教学有效性.即有效教学.是指通过课堂教学活动,学生在学业上有收获.有提高,有进步。具体表现在:认知上,从不懂到懂。从少知到多知,从不会到会;情感上,从不感兴趣到感兴趣,从不喜欢到喜欢
背景:熊果酸(Ursolic Acid,UA)是存在于天然植物中的一种五环三萜类化合物,具有多种药理作用,在抗肿瘤、抗心血管疾病以及保肝作用方面尤其显著。有研究表明熊果酸对胆汁淤积型肝损伤有一定的保护作用,但其保肝作用的详细机制尚不明确。体内胆汁酸主要经肝脏UGT2B7代谢后由胆道BSEP与MRP2共同转运排泄,而UGT2B7、BSEP、MRP2的表达受Nrf2调控,且文献表明熊果酸(UA)对核受
内燃波转子作为一种新概念燃烧装置,具有波转子预增压和高效等容燃烧的优势,能够显著的提高各种发动机和机械的性能。通过在特殊环境下产生的压缩波、激波等不稳定的复杂波系
人工智能时代信息技术与教育教学的融合创新催生了新的“课堂革命”,以翻转课堂、智慧课堂、混合式学习为代表的各种新的教学模式不断涌现,为人才培养模式的变革提供了有力支
绝缘栅型光电导开关是一种新型光电导开关,该器件结构解决了传统宽禁带光电导功率开关的暗态漏电流问题,还保留了光电导开关开通快、抖动小和频率高等优点,在脉冲功率领域有
植原体是危害农作物、观赏性植物等的重要病原。枣疯病相关植原体是植原体16S rV-B亚组的重要成员,能够侵染枣树、刺槐和丝棉木等多种植物。枣树是山东省重要的经济作物,枣疯
发动机功率由进气量、气缸内的气流运动以及燃烧质量决定,而缸内流动特性又对进气量和燃烧有着重要的影响。从本质上来说,可变配气技术也是通过改善这几个方面以达到提高发动