论文部分内容阅读
果蔬识别和定位的准确性与实时性将直接影响果蔬采摘机器人的采摘成功率和采摘效率。开放环境中果蔬的识别和定位受非结构环境因素的影响很大,因此一直以来是采摘机器人研究领域的研究重点之一本研究以番茄为研究对象,利用双目立体视觉技术,详细探讨了开放环境中番茄图像分割算法,被枝叶遮挡番茄识别算法,成簇番茄识别算法及番茄3D定位方法,部分解决了当前番茄采摘机器人视觉系统研究中存在的问题,所开发的番茄识别和定位算法将为番茄采摘机器人视觉系统的改善奠定一定理论和方法基础。主要研究内容及研究结论如下:(1)比较了基于色差、归一化色差、颜色分量比这三类颜色特征的番茄图像分割算法的分割性能。基于归一化色差、颜色分量比的番茄图像分割算法可实现不同光照强度下的番茄图像分割;光照较弱时.归一化色差法的分割效果较好;顺光条件下,光照较强时,双颜色分量比法的分割效果较好。(2)提出了融合番茄光斑识别及分段阈值的番茄图像分割算法。该算法基于R分量与光照度的相关性,融合了基于归一化色差及颜色分量比这两类番茄图像分割算法的优点,进一步结合番茄光斑区域识别方法实现了不同光照强度下的番茄图像分割。对184幅图像共计750个含光斑的番茄区域的试验表明:基于该方法的图像分割正确率为93.6%,明显优于基于归一化色差法的36.3%;平均执行时间为71ms;该算法对对顺光条件下的番茄图像具有较好的整体分割性能。(3)对比研究了基于圆回归及圆Hough变换的被遮挡番茄识别方法。首先两类方法均进行边缘曲率分析,去除曲率异常边缘,然后对曲率正常边缘分别通过圆回归及圆Hough变换实现被遮挡番茄的识别。对220幅存在遮挡的番茄图像的试验结果表明:轻微遮挡时,两类方法的识别正确率分别为90.8%,89.1%;中度遮挡时,两类方法的识别正确率分别为50.4%,74.8%;严重遮挡时,两类方法的识别性能均较差;可见存在遮挡时,圆Hough变换法的整体识别性能优于圆回归法;两类方法的平均执行时间均约为100ms。(4)对比研究了基于数学形态学、圆回归、圆Hough变换及双目立体视觉的四类成簇番茄识别方法。数学形态学法通过条件腐蚀和循环膨胀实现成簇番茄的识别;圆回归与圆Hough变换法与被遮挡番茄识别所用方法相似;双目立体视觉法根据成簇区域内前后番茄区域深度差,基于迭代Otsu法将成簇番茄分为两类:重叠番茄和粘连番茄,然后使用圆回归法实现粘连番茄的识别,对经深度图像边缘分割后的彩色图像边缘应用圆回归法实现重叠番茄识别。经138对存在轻微遮挡的成簇番茄立体图像的试验结果显示:存在轻微遮挡时,四类方法的识别正确率分别为60.9%,69.0%,71.1%,82.5%;存在较严重遮挡时,四类方法的识别性能均不理想;四类方法的平均执行时间分别为3、85、138、500ms。试验结果表明:双目立体视觉法对粘连及重叠番茄的识别性能均较好,其余三类方法对粘连番茄的识别性能较好,而对重叠番茄的识别性能均较差;双目立体视觉法的整体识别性能要优于其余三类方法,特别是对重叠番茄。(5)提出了番茄3D测量误差校正方法。研究了基于形心特征匹配,区域匹配及组合匹配的三类立体匹配方法,分析了基于三类立体匹配的3D定位误差,分析了造成深度测量误差的要因,提出了相应的校正方法,讨论了遮挡对3D定位精度的影响,测试分析了三类立体匹配方法的实时性。组合匹配将粗匹配阶段通过形心匹配获得的番茄粗略视差作为精匹配阶段区域匹配的视差范围中心,从而获得了一个中心随图像采集距离变化而变化的动态视差范围,在确保获得与区域匹配相近匹配精度的同时,减少了立体匹配计算量,图像采集距离在300~1000mm范围内时,所需匹配时间为区域匹配的三分之一。1349对立体图像的试验表明:1)基于三类立体匹配得到的x坐标测量误差相对较小,分别为:[0,12.8],[1.3,13.8],[1.3,13.8]mm。y坐标及深度测量误差相对较大,且与图像采集距离间分别呈现近似线性递减和递增的关系。2)经二元分段线性回归y坐标预测模型校正后,基于三类立体匹配的y坐标测量误差范围分别为:[-7,-0.8],[-6.1,1.4],[-6.1,1.8]mm。3)番茄大小是影响深度测量误差的要因。4)经基于深度测量值及番茄大小的二元线性回归深度预测模型校正后,基于三类立体匹配的深度测量误差范围分别为:[-10.4,28.7],[-6,12.8],[-5.6,5.3]mm。5)x、y坐标测量结果比深度测量值更易受遮挡影响。6)三类匹配方法的执行时间分别为:[0.4,4],[24,288.8],[9.6,98.8]ms。(6)编制了基于C语言的番茄识别和定位软件。完成了番茄识别和定位算法应用流程,动态链接库及测试软件的设计,应用于番茄采摘机器人的视觉系统后,进行了实验室及温室的采摘试验。23次实验室采摘试验,识别成功18次,采摘成功11次;10次温室采摘试验,识别成功9次,采摘成功8次;采摘效率约为30s/个。上述研究成果将为进一步提高番茄采摘机器人视觉系统对开放环境的适应能力奠定一定的方法和技术基础。