在苹果的生产与加工流程中,果实的采摘是一个劳动密集型环节,不断增加的苹果产量与逐渐减少的适龄劳动力之间的矛盾日益凸显,解决此矛盾的关键是如何实现采摘过程的自动化,核心是苹果识别与三维定位技术。因此,本文以矮砧苹果为研究对象,针对果实采摘任务,研究了一种能够同时完成果实目标的实例分割和枝条障碍物语义分割的全景分割网络,为采摘自动化装备提供丰富的外界环境描述。在此基础上,针对后续采摘任务,将全景分割网络的结果与RGB-D相机获取的三维信息进行融合,完成果实与障碍物的三维定位。主要研究内容如下:1)针对复杂环境下的果实采摘任务,在分析现有的分割与检测框架的优缺点基础上,研究了一种多尺度、多分支并行的特征提取骨干网络,对不同分支的输出特征采用一组可学习的权重进行加权融合,为后续的分割与检测任务提供可靠的输入特征。2)在骨干网络提供的特征基础上,研究了语义分割分支与实例分割分支的设计方法。对于语义分割分支,同时采用通道与空间注意力机制,使得网络在训练过程中能够自动加强显著特征并抑制无效特征,以此产生更精确的分割效果;构建了无锚框实例分割网络,采用自适应正样本筛选方式,简化了超参数设计并取得更好的效果。此外,通过采用一种无参数的特征融合方法,将果实的实例信息与枝条、障碍物等语义信息进行融合,产生全景分割图。3)采用KinectV2相机获取果实的深度与彩色信息,通过标定获取相机的内部参数与外部参数,据此将全景分割的结果与深度进行融合,产生语义点云,经过点云滤波处理后,获取果实以及障碍物的位置信息,同时,采用RANSAC算法对残缺点云进行补全,进一步获取果实的形状信息以及中心位置。实验表明,该方法对果实识别率达到87%以上,拟合后产生的空间球半径与实际果实半径误差小于0.72cm,对光照、遮挡等干扰具有较强的鲁棒性,可以完成复杂环境下果实的识别与定位。