论文部分内容阅读
葡萄在自然条件下生长,由于受天气复杂变化和光照照度不均的影响,会导致葡萄叶片图像前景与背景的对比度不强,叶片图像纹理模糊、色差较大等的缺陷。同时,在上述的条件下,叶片中有些会出现病害,这样对于如何分割其中有病害与正常的叶片,采用传统的图像分割算法尚不能解决这类问题。本文以两种深度学习的神经网络算法作为核心,分别实现葡萄叶片图像的前景/背景分割与个例分割,对各种成像条件和背景的叶片图像分割效果较好。为了解决不同光照和复杂背景下对正常和病害葡萄叶片图像的前景/背景自动分割,使用了一种全卷积网络(Fully Convolutional Networks)的葡萄叶片图像的自动分割算法。该方法在结构上将传统的卷积神经网络(Convolutional Neural Networks)后三个全连接层换成三个卷积层。通过多层的卷积,对输入葡萄叶片图像的特征进行提取;通过池化层对特征信息进行筛选,缩减特征尺寸,以达到减少网络参数的目的。再通过反卷积对特征上采样,从高维、小尺寸特征恢复到图像原始尺寸,对具有原始尺寸的特征进行逐像素分类,确定原图像中每个像素位置的标签是背景还是前景。但只经过上采样处理后的分割图像会较粗糙,故通过跳跃结构将较为粗糙的原图进行局部信息与整体信息的整合,达到对分割结果进行精细化处理的作用,结果表明该算法对正常与病害叶片都达到了较好的分割结果。对于在晴天,阴天和阴影下的无遮挡和有遮挡的正常葡萄叶片分割效果,通过MCC评价标准,其平均精确度分别达到0.9018和0.8059,0.8629和0.8036,0.8589和0.8016,与联合分割算法相比,分别高出13.74%、10.47%、18.08%、20.1%、30.55%和29.73%;对于有病害的单叶片和多叶片的MCC分割精度分度为0.8214、0.7472,平均为0.7843,与基于检测的分割算法相比,在三种情形下的分割精确度分别提高了5.14%、4.39%、4.76%,而ACC的分割精度分度可达到0.9481、0.8774,平均为0.9128,同时也比对比算法分别提高3.99%、3.18%、3.59%。本文还用Mask R-CNN实现了对葡萄叶片图像的个例分割,首先通过RPN(区域卷积网络)生成候选区域(ROI),其次利用Fast R-CNN的卷积层提取出这幅图像的整体特征,得到这幅图像的特征图,然后利用ROI Align进一步对特征图进行像素校正,校正后对每个ROI进行预测,得到其类别以及bounding box,同时每一个ROI使用设计好的FCN框架预测ROI区域每个像素点所属类别,通过IOU(检测评价函数)对候选区域进行背景/前景的分类并给与标签,并送入101层的深度残差网络ResNet进行训练,以实现检测,识别,分割与一体的个例分割的效果。对于在晴天,阴天和阴影下的无遮挡和有遮挡的正常葡萄叶片分割效果,通过对整张叶片图像前景/背景与每个叶片的MCC评价标准分析,整张叶片图像前景/背景的分割精度为0.9347和0.9002、0.9162和0.8951、0.9289与0.9104,平均值为0.9143,每个葡萄图像中的叶片平均值分割精度为0.9414和0.9232、0.9258和0.9008、0.9356与0.9123,平均值为0.9237,相比于对整张叶片图像前景/背景的分割精度,对每个叶片求精度再求其平均值,其平均精度高出前者0.94%;对于有病害的单叶片和多叶片,通过对整张叶片图像前景/背景与每个叶片的MCC评价标准,整张叶片图像前景/背景的分割精度0.9237和0.8486,平均值为0.8862,每个葡萄图像中的叶片平均值分割精度为0.92374和0.8867,平均值为0.9052,其平均值精度高出前者1.9%。相比于全卷积网络算法,Mask R-CNN对混合叶片图像中的正常与病害叶片与不同品种的葡萄叶片的分割精度做了评估,对于混合叶片图像,其病害葡萄叶片精度为0.9513,正常葡萄叶片图像精度为0.9061;对于不同品种的叶片图像,经MCC对整张叶片图像前景/背景的评估计算,4类不同品种葡萄叶片的平均精度到达0.9391、0.8907、0.8873和0.9312,平均值为0.9121;相同的葡萄叶片图像进行每个叶片的MCC评估计算,其平均精度为0.9483、0.9092、0.8932和0.9432,平均值为0.9235,两者精度相比较,后者高出前者1.14%。