水果采摘机器人的采摘动作依赖于其视觉检测系统对水果的检测与姿态估计。由于复杂自然场景下光照条件与遮挡情况复杂,故基于RGB图像的水果检测与识别中存在识别精度低、鲁棒性差等问题。因此本课题将RGB-D相机采集到的点云图像引入到水果检测与姿态估计领域,利用机器学习的相关理论(偏最小二乘判别分析、减法聚类等)以及三维点云处理中相关描述符(快速点特征直方图,离群滤波等),为水果的自动采摘提供准确的作业指导。论文的主要工作如下:1.自然界中果实被遮挡的情况是常见的,并且许多果实(例如甜椒)是不规则的,故在先前研究中基于果形检测方法的成功率会因此而下降。为了克服果实遮挡的影响,提出了一种检测和计数水果的方法,为自动采摘机器人提供科学可靠的技术指导。首先,通过应用R-G的颜色阈值,从树的点云分割果实区域。然后,除去了稀疏的异常值与果点云中的噪声。最后,基于减法聚类算法检测并计数每个水果的点云。算法在甜椒点云数据集中做了测试,对于在场景中至少部分可见的所有果实,真阳性率为90.69%并且假阳性率为6.97%。且未检测到的果实表明这些是高度封闭的果实,只有一小部分表面可见。结果表明,本研究可以在一定程度上克服水果遮挡对自动检测的影响。2.水果的分离有两种末端执行器,一种是基于果茎检测的切割式,一种是基于姿态估计的抓握式。本研究提出了一种检测甜椒果茎的视觉检测方法,为切割式末端执行器提供指导。该方法利用从甜椒点云获取的颜色和几何信息,并利用监督学习方法进行果茎检测任务。首先,将整个甜椒点云细分为果肉和果茎。然后,从预处理的点云中分别提取具有色调,饱和度,明度(HSV)特征和快速点特征直方图(FPFH)特征的融合的改进的3D描述符。最后,利用HSV+FPFH描述符开发了偏最小二乘判别分析(PLSDA)分类模型,得到了具有挑战性的甜椒点云数据集的88.96%平均分类精度,优于基于HSV描述符的83.60%平均精度。与HSV描述符相比,该研究中提出的HSV+FPFH描述符可以更好地满足自动采摘系统的精度要求。3.自然场景中果茎通常较细且容易被遮挡,故基于果茎检测的切割式末端执行器应用较为局限。本研究提出了一种水果姿态估计的方法,为抓握式末端执行器提供指导。在该方法中,首先计算水果点云中每个点处的局部平面的法线,点云由若干个候选平面分割。然后使用评分策略分别计算每个平面的分数,选择得分最低的平面作为点云的对称平面。最终可以从所选择的对称平面计算出对称轴,并利用对称轴获得空间中水果的姿态。通过模拟和甜椒云数据集测试评估所提出方法的性能。在模拟试验中,计算出的对称性与实轴之间的平均角度误差约为6.5°。在甜椒点云数据集测试中,当移除果茎时,平均误差约为7.4°,当甜椒果茎完整时,平均误差约为6.9°。这些结果表明,该方法适用于甜椒果茎姿态估计,可以调整用于其他水果和蔬菜,并进一步指导抓取操作。