论文部分内容阅读
针对现有的猕猴桃果实检测方法未考虑采摘机器人作业需求,均将果实识别为一类,导致枝干和钢丝等遮挡的果实也被识别,这部分果实的采摘有可能损伤末端执行器及机器人,造成巨大经济损失。因此,本文展开了基于深度学习的猕猴桃冠层检测与果实多分类定位方法研究,以期实现猕猴桃采摘机器人更快更精准的检测和定位适合机器人采摘的猕猴桃果实。主要研究内容与结论如下:(1)多分类猕猴桃数据集和冠层图像分割数据集的构建。根据果树生长特性和棚架栽培的特点,采用对果实底部成像的方式全天采集猕猴桃冠层图像。解析确定冠层图像分割数据集和多分类检测数据集的标记对象类别,并进行人工标注。为避免过拟合现象,增加数据集多样化,改善学习过程并提高模型的泛化能力,分别对两种数据集进行数据扩增。最后,将扩增后的数据集分别以相应的格式整理以作为网络的输入数据。(2)基于DeepLabV3 的猕猴桃冠层图像分割与钢丝重建研究。针对猕猴桃冠层图像中背景、果萼、枝干和钢丝类别像素占比不均衡的问题,提出一种适合猕猴桃冠层图像数据集语义分割的均一权重配置方法。为实现DeepLabV3 模型分割精度和速度的均衡,对比了基于四种不同特征提取网络(Xception-65、Xception-71、ResNet-50、ResNet-101)下的模型分割性能,结果表明,基于ResNet-101的DeepLabV3 模型对猕猴桃冠层分割的mIoU为0.694,PA为96.0%,优于其他特征提取网络。最后,对于分割图中离散的钢丝像素,改进基于PPHT算法的钢丝连续化重构方法,完成钢丝的直线拼接,取得92.4%的正确检测率,6.06%的漏检率和1.52%的误检率,在IntelXeonE5-1650v4(3.60GHz)六核CPU上处理一幅512×341分辨率的图像仅需6.40ms,可以实现实时应用。(3)基于YOLOv5s的猕猴桃多分类果实识别研究。针对深度学习方法造成部分不适合机器人采摘的果实过度识别的新问题,综合考虑实验硬件平台条件和模型检测精度,使用基于YOLOv5s模型进行复杂田间环境下多分类猕猴桃果实的识别。针对个别果实同时出现两类检测框的情况,提出一种基于“类别优先级”的方法剔除低级别的检测框。对232幅测试集图像进行试验,结果表明,本文YOLOv5s模型对NO、OB、OW、OL和OF五类果实检测的AP(AveragePrecision)值分别为99.0%、96.1%、94.7%、95.1%和96.4%,mAP(meanAP)值为96.2%,模型权重为14.5MB,平均每幅图像的检测时间为14.8ms。模型对不同光照和曝光环境下的多分类猕猴桃果实的鲁棒性较强。本文提出的两类检测框修正算法,可以有效地将低级别果实检测框剔除。(4)基于小觅双目MYNTEYED1000-50/Color相机的田间猕猴桃果实定位算法研究。为保障猕猴桃采摘机器人田间环境下的安全采摘作业,实现障碍物在不适合机器人采摘处的信息确认,对DeepLabV3 猕猴桃冠层语义分割模型和基于YOLOv5s的多分类猕猴桃检测模型输出结果进行融合。采用张正友标定法标定相机并获取左、右目相机的内参和外参。使用Python编程获取深度图中多分类果实检测框的中心点、枝干和钢丝像素点的深度值,通过坐标转换方法得到相机坐标系下的三维空间坐标。最后设计田间试验验证定位方法的准确性,结果表明,小觅双目MYNTEYED1000-50/Color相机在X轴、Y轴和Z轴平均误差分别为8.4mm、9.3mm和10.4mm。最后,根据田间环境下猕猴桃果实的类别信息、三维空间坐标及枝干和钢丝的三维空间分布,展望了田间环境下猕猴桃果实的安全采摘策略。综上所述,本文针对深度学习造成的枝干和钢丝等遮挡的果实过度识别的问题提出了可行的解决方案,即基于深度学习的冠层检测与果实多分类定位方法。其中,基于YOLOv5s的多分类猕猴桃检测模型平均检测精度高、速度快、模型更小,可以实现对不同光照和曝光环境下的多分类猕猴桃果实的检测。该研究为实现猕猴桃采摘机器人更快更精准的检测和定位适合机器人采摘的猕猴桃果实提供新思路,探索新途径,从而进一步推进猕猴桃产业化、智能化、安全自动化。