论文部分内容阅读
随着大数据时代的到来以及硬件计算力的提升,近几年以卷积神经网络为代表的深度学习技术在计算机视觉等领域取得了巨大突破。由于卷积神经网络可以面向不同任务通过训练从数据中学习得到效果超过人工设计特征的能力,目前在机器人的目标识别,目标检测等领域已有广泛应用。本文针对智能机器人在仓储物流,家庭服务等行业需要能够在复杂的非结构化环境中对物体进行抓取的这一需求,对卷积神经网络在机器人抓取规划中的应用进行了详细研究,提出了两种能在非结构化环境对物体进行抓取规划的抓取检测网络,建立了完整的机器人自动抓取规划系统,并通过实验验证了本文提出的自动抓取规划方法的实际可行性。本文首先建立了完整的机器人自动抓取规划系统框架,并对自动抓取规划系统中的深度相机模型,机器人抓取模型以及基于卷积神经网络的抓取规划模型进行了建模,确定了抓取的表达方法,为后续算法研究提供了理论基础。基于建立好的抓取规划系统框架及模型,本文首先提出了先采样候选抓取再分类的抓取检测网络GDN。该网络创新性地同时以输入图片和抓取角度为输入,使得不同抓取角度的预测互相独立,更符合抓取检测的实际情况,并通过迁移学习利用了Image Net预训练的高性能卷积神经网络进行图片特征的提取。最终建立的GDN抓取检测网络在卡耐基梅隆抓取数据集上达到79.4%的验证集准确率。为了进一步提高抓取检测速度,省去耗时的候选抓取采样步骤,本文提出了一种以整张RGBD图片为输入进行多模态特征融合,最后直接输出抓取框的端对端抓取检测网络Pixel GDN。该网络创新性地对每一个像素点进行互相独立的抓取角度预测,避免了作出一张图片或一个区域只包含一个抓取的强假设,更符合实际情况。最终建立的Pixel GDN抓取检测网络在康奈尔抓取数据集上达到了86.36%的Top-1抓取框验证集正确率,且抓取检测速度高达27.40帧每秒。最后为检验算法的性能,本文在Gazebo中建立了包含机器人,深度相机,场景物体及被抓取物体的仿真环境,将基于ROS搭建的自动抓取系统部署到仿真环境以及真实的深度相机上进行抓取检测实验。GDN分别在仿真和真实相机上达到了86.0%和74.1%的检测准确率,Pixel GDN则分别在仿真和真实相机上达到了81.3%和71.3%的检测准确率,之后本文根据实验结果对GDN的候选抓取采样算法进行了改进,使得GDN在真实相机上达到了89.3%的准确率,具有很大的实用价值。