机器视觉技术的不断创新,推动了诸多行业的进步,对农业领域的影响亦愈加深远,在果蔬采摘机器人、果园测产等研究中,借助视觉系统实现目标果实识别。然而果园实际作业环境较为复杂,呈现非结构化和不确定性,且受机位和生长姿态影响,采集到的图像目标果实姿态多变,严重制约着目标果实的识别效率和精度。本研究以苹果采摘机器人为研究对象,以提高目标果实的识别效率和精度为研究目标,构建基于深度图像的目标果实快速识别与定位算法,创新性地提出先定位后识别的理念;提出基于优化Mask R-CNN的重叠目标果实识别算法,提高采摘机器人的作业能力。具体研究内容如下:(1)基于深度图像的目标果实定位方法,由采集到苹果的通过解析目标图像的深度信息绘制等深图,获取深度图像的梯度场信息,将梯度向量从三维空间向二维空间进行投影。将二维梯度沿同一方向旋转,呈现出大小不等的向量聚集区域,因为目标果实呈球形,所以形成规则的聚集中心即为苹果圆心,而非目标果实区域则呈现出杂乱发散状。利用深度图像能够快速定位目标果实圆心,且不受果实颜色和遮挡限制,解决了复杂背景中目标果实定位难题。(2)由在RGB空间中,引入图的分割算法,通过构造自适应阈值,建立圆心数与k,min两个参数的映射关系,将图像分割成超像素区域。由对应的深度图像得到的圆心,在分割区域遍历圆心所在超像素区域,即为目标果实区域,扫描超像素区域的最大半径作为圆形半径,拟合出目标果实区域。新方法不用设计分类器,能够快速实现苹果的识别与定位。(3)针对枝叶遮挡或重叠目标果实的问题,构建基于优化掩码卷积神经网络重叠目标果实识别模型。利用深度残差网络(Residual Network,ResNet)与密集卷积网络(Densely Connected Convolutional Networks,DenseNet)结合作为整体模型的特征提取网络,用于生成特征图。将特征图输入到区域提议网络(Region Proposal Network,RPN)进行端到端训练以生成感兴趣区域,最后由全卷积网络(Full Convolutional Network,FCN)生成掩码以获取苹果所在的位置的区域形状。构建的深度网络结构通过不断的自身特征提取和对特征自学习不断被优化,大幅提高枝叶遮挡和重叠目标果实识别精度。上述研究提高了目标果实识别定位效率、重叠目标果实识别精度,推动采摘机器人作业效率提高,新方法可进一步推广到其它球形果实的识别和定位,促进农业生产的智能化发展。