苹果是我国大规模种植的农产品之一,是农业经济发展的重要支柱。但是,目前苹果的采摘作业主要依靠劳动力来完成,其劳动强度大、生产成本高、生产率低。因此,研究智能化水平较高的苹果采摘机器人代替人工采摘具有重要的意义。本文主要针对田间环境下墙型种植模式的爵士苹果,使用Kinect相机获取对齐的彩色图像、深度图像和点云数据。首先基于常用的两种卷积神经网络对原始彩色苹果图像进行果实检测方法的研究,但枝干遮挡的果实易被分成几个独立的部分,可能导致一个果实被误检测为几个果实,且不能确定果实遮挡的果实采摘顺序,需对果实再进行多分类标记;然后为进一步提高检测精度,针对墙型种植模式下的苹果图像背景复杂的缺点,利用深度图像去除复杂背景,再以结果较优的卷积神经网络进行去背景后的苹果图像检测;最后基于点云数据进行苹果果实定位方法的研究。本文主要研究内容具体如下:(1)基于原始彩色苹果图像检测研究。首先使用几何变换和图像增强的方法对采集到的图像进行数据增广;然后分别进行果实标记和果实多分类标记,对数据增广的样本进行标记文件映射;最后采用基于Faster-RCNN原理的VGG16和ZF网络模型进行图像的训练和检测。实验结果表明:VGG16网络模型平均检测精度较高,在果实检测模型中,果实AP值为88.12%,检测时间为0.182s/幅;在果实多分类检测模型中,单个无遮挡的果实AP值为90.90%,树叶遮挡的果实AP值为89.94%,枝干遮挡的果实AP值为85.82%,果实遮挡的果实AP值为84.82%,mAP值为87.87%,检测时间为0.241s/幅。(2)基于去背景彩色苹果图像检测研究。首先找出深度图像中深度值超过200 cm的像素点;然后将同分辨率的彩色图像中对应像素点的值置0,并进行图像数据增广和相应的标记文件映射;最后使用迁移原始图像最佳检测模型参数的方法对新的VGG16网络模型进行训练和检测。实验结果表明:在果实检测模型中,果实AP值为89.32%,比原始图像检测值提高了 1.2%,检测时间为0.181s/幅;在果实多分类检测模型中,单个无遮挡的果实AP值为91.12%,树叶遮挡的果实AP值为90.25%,枝干遮挡的果实AP值为87.34%,果实遮挡的果实AP值为86.48%,mAP值为88.80%,分别比原始图像检测值提高了0.22%、0.31%、1.52%、1.66%和0.93%,检测时间为0.240s/幅。(3)苹果果实的三维空间定位研究。首先使用MATLAB编程获取去除背景后的苹果边界框的左上角和右下角两个像素点坐标,再计算其平均值作为中心像素点坐标,并依次获取中心像素点的上、下、左、右、左上、左下、右上、右下8个领域像素点坐标;然后分别使用直通滤波、统计滤波和双边滤波的方法对点云进行背景去除、离群点去除和内部高频噪声去除;最后提取这9个像素点的三维空间坐标值,计算其平均值作为苹果果实最终抓取点的三位空间坐标。通过基于Faster-RCNN原理的VGG16和ZF网络模型对原始彩色苹果图像分别进行果实检测和果实多分类检测,VGG16网络模型相比于ZF网络模型对田间环境下苹果均有较好的检测效果;然后对原始彩色苹果图像进行复杂背景去除,进一步提高了检测精度;最后从去噪后的点云数据中获取了果实的三维空间坐标并确定了果实的采摘顺序。本文为苹果采摘机器人的目标检测与定位提供了一些方法,取得了一些可供参考的结论。