论文部分内容阅读
针对服务机器人在非结构化工作环境中面对大量未知物体而难以实现有效抓取检测这一问题,本文借鉴深度学习技术在计算机视觉领域获得的巨大成功,对深度神经网络在机器人抓取检测问题上的应用进行了研究。同时,本文使用深度图像作为网络输入以减少彩色图像中物体与背景颜色等因素的影响,从而减少网络的学习难度,进而提高抓取检测算法性能。本论文针对Baxter机器人的抓取算法研究,建立了一套基于Kinect V1深度相机的机器人自动抓取系统,设计了两种基于深度图像与深度神经网络的抓取检测算法,通过实验测试了这两种算法的性能。首先,建立了机器人自动抓取系统的基础框架,对其中的深度相机模块进行了原理介绍,给出了机器人及其可配置平行爪夹具的具体参数,分析了抓取检测算法中抓取的平面以及三维表示,并给出了利用深度神经网络实现抓取检测算法的思路。其次,实现了一种先采样候选抓取,再对候选抓取通过深度神经网络进行评分进而选出最佳抓取的两阶段抓取检测算法。通过设计一种基于夹具宽度与桌面距离的深度图像归一化算法,并利用其对灵活网络(Dexterity Network,Dex-Net)2.0数据集进行处理,得到了可将抓取知识迁移到多种夹具尺寸、相机配置与物体距离情况下的改进Dex-Net 2.0抓取分类数据集。基于抓取质量卷积神经网络(Grasp Quality Convolution Neural Network,GQCNN)的结构,结合改进的数据集的数据格式,设计了改进的抓取质量卷积神经网络。在改进的Dex-Net 2.0抓取分类数据集上训练并验证改进的抓取质量卷积神经网络,取得了 0.889的分类准确率与0.859的平均分类精度。再次,设计了一种从输入深度图像端到端检测可行抓取的单阶段抓取检测算法。通过处理Dex-Net 2.0原始数据集得到了相应的抓取检测标注数据集。基于单阶段目标检测与锚框的思想设计了直接在输入深度图全图上各区域预测多组抓取的抓取检测全卷积神经网络。在抓取检测标注数据集上训练并验证抓取检测全卷积神经网络,取得了 Dice系数为0.52的抓取预测准确率,0.16像素的平均抓取位置预测误差以及5.1度的平均抓取角度预测误差。最后,在仿真与实际环境中测试了算法性能。基于Gazebo搭建了仿真实验环境,在ROS中建立了自动抓取系统,从耶鲁-卡耐基梅隆-伯克利(Yale-CMU-Berkeley,YCB)物体与模型集中收集了用于测试抓取算法性能的测试物体集,在多种相机位姿下测试对比了两阶段与单阶段抓取检测算法的抓取预测准确率与速度,获得了仿真环境下两阶段抓取检测算法79%的平均抓取预测准确率与829ms的平均计算用时,单阶段抓取检测算法88%的平均抓取预测准确率与4ms的平均计算用时。基于Baxter机器人和Kinect V1深度相机建立了实际抓取系统,对深度相机进行了内参标定,对机器人与相机之间的变换关系进行了眼在手外的手眼标定。收集生活中常见的10个物体,基于表现较好的单阶段抓取检测算法进行了实物抓取实验,自动抓取系统对其中9个物体都实现了成功抓取。