机器人抓取技术是机器人研究中的热点,在相对固定的工业化场景中,使用机器人执行抓取任务时效率高、持续工作时间长。但是在非结构化环境中,物品种类多样、放置姿态随意,且多个物体存在堆叠和互相遮挡的情况,导致机器人抓取时目标识别困难、抓取方式复杂。在此背景下,本文以视觉传感器作为情景感知手段,以机械臂和夹持器作为执行机构,针对非结构化环境中的对象识别和机器人抓取操作进行了研究。具体包括制作图像数据集、训练用于物体语义分割的神经网络、建立抓取模型、搭建实验平台并进行实验验证。主要内容如下:(1)研究图像数据标注方法。分析了用于图像识别和分割的数据集注释规范,利用特征匹配和高斯混合模型自动提取物体边缘,提出了一种图像快速标注方法。设计了一种能够实现自动、半自动和手动三种方式的可视化人机交互界面,在保证标注精度的情况下,标注速度至少提高一倍。(2)研究神经网络进行物体语义分割的技术。研究了深度学习的关键技术和主要流程,着重分析了Mask R-CNN网络的组成框架。在TensorFlow环境中对Mask R-CNN网络进行复现。并使用自制数据集进行网络模型参数调整,使网络更适用于机器人在非结构化环境中抓取物体时的目标分类和定位。(3)研究机器人抓取策略和抓取规划。针对二指平行夹持器,提出了一种空间平行抓取模型,综合应用二维图像空间和三维点云空间的信息建立了抓取模型。提出了抓取模型质量评定准则,并以抓取模型评分最大化原则,提出平移和旋转两种抓取矩形搜索策略。该方法能够在物体形状未知时快速确定有效的抓取方案。(4)实验设计及方法验证。搭建了机器人抓取系统软硬件实验平台,完成了视觉系统和手眼系统的标定,开展了真实环境中的机器人抓取实验。验证了非结构化物体识别、抓取位姿估计以及机器人运动规划方法的可行性,实验结果显示散放物体和堆叠物体的抓取的成功率分别为94.6%和90.6%。本文实现了未知环境中物品识别和未知物体的抓取策略生成,提高了机器人在非结构化环境中自主感知并抓取目标的能力。研究中使用机器人抓取系统代替人完成复杂多样物体的分拣任务,有望应用于在家庭、超市等场合中。