生产过程的机械化和智能化是农业发展的必然趋势,果蔬采摘作为农业生产中的重要环节,如何实现采摘过程的无人化和自动化是近年来农业工程领域研究的重要热点之一。但目前大部分采摘机器人只能针对某一种果实进行作业,全年大部分时间处于闲置状态,显著提高了使用成本并且不利于商业推广。因此,研究一种能够进行多种果实采摘作业的多功能果蔬采摘机器人具有重要的实用价值和商业前景。视觉系统作为采摘机器人的眼睛,是实现不同果实识别与定位的关键。本研究从众多果蔬品种中选择在颜色和形状上具有代表性的苹果和黄瓜为主要研究对象,围绕果实的图像识别算法展开研究,并将相关算法推广应用于其他果蔬品种果实的识别和定位上。根据不同果实的特点,共提出了3种不同的果实识别算法,分别是以颜色特征为主、以形状特征为主和基于DCNN(Deep convolutional neural network,深度卷积神经网络)的果实识别算法。本研究的主要内容包括以下4个方面:(1)针对成熟苹果表面颜色与背景存在明显差异的特点,提出了以颜色特征为主的苹果识别算法。通过分析苹果图像中果实与其他物体在不同颜色因子下的区分度,选择能够体现果实与背景差异的颜色因子构成多通道图像,并提出稀疏卷积核的概念,然后通过稀疏卷积核综合利用邻域范围内的像素信息,实现了对多通道图像的分割。为确定稀疏卷积核内的元素,首先以稀疏卷积核为模板进行邻域样本数据的采样,然后将样本数据输入到线性分类器进行分类模型的训练,最后将分类模型的系数转换为稀疏卷积核内的元素。该算法将分类学习方法与卷积运算深度结合,实现了果实的识别和定位。与同尺寸的常规卷积核相比,稀疏卷积核通过对邻域像素的间隔采样,能够在保证分割效果的同时,明显减少卷积过程中的重复运算,提高运算速度。试验结果表明,该算法的识别精确率达91.12%,召回率达86.67%,平均定位误差为8.12%。(2)针对苹果颜色分布不均且易受光线影响的特点以及果实形状对光线不敏感的优势,提出了以形状特征为主的苹果识别算法。首先根据果实的颜色和纹理特征确定可能存在果实的候选区域,然后再通过果实的形状特征在候选区域内对果实进行进一步的识别和定位。为实现候选区域的识别,将图像分割成一系列超像素块,然后将多种颜色和纹理特征的描述变量合成为超像素块的特征向量,最后通过BP(Back propagation,反向传播)神经网络实现特征向量的分类从而确定候选区域。在候选区域内,首先采用多尺度滑窗进行遍历并采用HOG(Histogram of oriented gradient,方向梯度直方图)算子对滑窗内物体的形状进行描述,然后通过SVM(Support vector machine,支持向量机)分类器对HOG特征向量进行分类,从而确定滑窗所在区域是否为果实。该算法虽然以形状特征为主,但是通过颜色和纹理特征辅助滤除了部分干扰并缩小了形状描述子的检测范围,有效提高了果实的识别定位精度。试验结果表明,该算法的识别精确率达95.12%,召回率达89.80%,平均定位误差为7.26%。(3)针对黄瓜果实与枝叶相近的颜色和长条形的特殊形状,提出采用基于DCNN的实例分割框架Mask RCNN(Region-based convolutional neural network,区域卷积神经网络)实现黄瓜的识别和定位。相比于采用矩形包围框进行果实识别和定位的算法,能够进行像素级分割的Mask RCNN可以满足黄瓜在水平方向上的高精度定位要求。为了进一步提高该框架对黄瓜的识别和定位精度,根据黄瓜的颜色和形状特征对框架的结构和锚框参数进行了定制。通过将人工特征融入到框架结构和参数设定中,弥补了卷积特征在训练和学习过程中的不确定性。试验表明,改进后的框架结构更加高效且更契合黄瓜的识别需求,不仅提高了识别和定位精度,还提高了算法的运行效率。该算法的识别精确率达90.68%,召回率达88.29%,平均定位偏差为3.58个像素。(4)将以颜色特征为主、以形状特征为主和基于DCNN的果实识别算法分别推广应用到成熟红色西红柿、未成熟青色西红柿和青椒上,并根据不同果实的特点对相应算法中的相关参数进行适应性修改。同时,建立不同果实的训练集和测试集用于相应算法中分类模型的训练和测试。试验结果表明,适用于苹果和黄瓜的果实识别算法,同样能够在类似果实的识别中取得良好的效果。最后根据试验结果,分析并总结了不同算法的应用对象和适用范围。上述研究中稀疏卷积核的结构设计和运用方法、候选区域识别的运用方法以及人工特征与DCNN的融合方法是相应算法中的主要创新点。3种不同的果实识别算法不仅能够识别苹果、黄瓜、西红柿和青椒,还能够进一步推广应用到具有相似特征的其他果实上。多样的果实识别算法为多功能果蔬采摘机器人的实现提供了有力支持,采摘机器人在作业过程中可以根据采摘对象的不同选择合适的图像识别算法。