柑橘是我国重要的水果产品之一,其世界贸易量也位居前三。目前,柑橘采摘仍以人工采摘为主,特别是丘陵地区,由于坡度大且多居于高山上,更容易出现人员受伤的情况。因此,本课题组针对这一情况设计了一款适合丘陵山区的柑橘采摘机器人。研制的初代机器人能够实现无障碍的果实采摘,而对于复杂的柑橘果园情况,果实被枝干障碍物遮挡普遍存在,因此如何获得果树枝干信息以指导机械臂进行避障采摘具有重要研究意义。本文以自然环境下柑橘果树枝干为研究对象,基于卷积神经网络和Kinect V2相机进行了枝干的识别与定位研究。本论文的主要研究内容如下:(1)目标识别算法的选择。介绍了卷积神经网络的各结构模块,分析了基于神经网络的主要目标检测算法,包括YOLO算法和Mask RCNN算法等,针对各算法识别效果和本文研究目的,确定了以Mask RCNN算法为基础的算法模型。选择该算法的主要原因是算法添加的mask分支,获得的mask能对目标进行精确分割。基于这一点,本文对mask进行了最小外接矩处理,获得的外接矩边框能够更容易获得枝干的偏转信息,同时外接矩处理后的结果也为后续研究做好了铺垫。(2)训练数据集的制作。上一个研究内容指出,需要对mask进行处理。而如何使处理后的枝干具有偏转信息,这就需要一个较好的数据集制作准则。在数据集采集上,为了保证数据集与机器人所处环境一致,确定了相机与目标物的拍摄距离。在数据集的制作上,为了统一图像标记尺度,确定了图像标记最低尺度范围。同时采用离散化标记方式设计了两个标记类型,采用类长方形标记无分叉枝干类,采用类梯形标记分叉枝干类。(3)果树枝干的二维重建。基于对外接矩边框的分析,确定了多个约束条件,即距离约束、角度约束和交点约束。通过这些约束条件,本文也提出了多参数约束划分算法,能够完成离散边框的有序连接。对划分的有序点进行了四次多项式拟合,最终实现了枝干二维重建。其中枝干拟合误差11.47%,整体枝干平均重建准确率为88.64%。(4)枝干三维定位。标定Kinect V2相机,获得了相机的内外参数。同时确定了空间深度约束条件,能够更好的实现边框的空间划分。通过相机空间位置转换关系,最终实现了枝干三维模型的构建。通过测量值与计算值的对比实验,构建的枝干信息在真实空间下深度值偏差小于1.8mm,枝干直径的平均相对误差为5.6%。在户外,柑橘采摘机器人对存在枝干障碍物的果实进行采摘,采摘成功率为84.48%,机器人碰撞比为13.46%。