论文部分内容阅读
摘要 为了实现自然场景下水稻害虫实时精准被识别，构建基于VGG-16卷积神经网络的水稻害虫智能识别模型。该模型采用VGG-16卷积神经网络为核心网络结构，根据水稻害虫的个体特征和自然场景，对VGG-16网络的卷积层局部调整，优化主要模型参数，实现水稻害虫的智能识别，其识别的平均准确率是90.7%，实现对沙叶蝉、大螟、斑须蝽、点蜂缘蝽和白背飞虱的准确识别。研究结果显示，采用卷积神经网络技术可以实现自然场景下害虫图像的精准识别，代替人工辨认，提高水稻害虫防治率，实现实时、精准防治的目标。
关键词 水稻;害虫;智能识别;VGG-16;卷积神经网络
中图分类号 S125 文献标识码 A 文章编号 0517-6611（2020）05-0235-04
doi：10.3969/j.issn.0517-6611.2020.05.066
开放科学（资源服务）标识码（OSID）：
Abstract In order to achieve realtime accurate recognition of rice pests in natural scenes， an intelligent rice pest recognition model based on VGG16 convolutional neural network was constructed. The model used the VGG16 convolutional neural network as the core network structure. According to the individual characteristics of rice pests and natural scenes， the convolutional layer of the VGG16 network was locally adjusted， the main model parameters were optimized， and intelligent recognition of rice pests was achieved. The average accuracy rate of recognition was 90.7%， which could accurately identify the leafhoppers， giant salamanders， spotted tadpoles， beetailed salamanders and whitebacked planthoppers. Research results showed that the use of convolutional neural network technology could achieve accurate recognition of pest images in natural scenes， instead of manual recognition to improve the pest control rate of rice， and to achieve the goal of realtime and accurate control.
Key words Rice;Insect pest;Intelligent recognition;VGG16;Convolutional neural network
水稻是我国重要的粮食作物，随着我国人口的逐年增长，粮食的需求量不断增大，因此，提高水稻产量成为影响国计民生的重要科研工作。在实际生产中，影响水稻产量的因素很多，害虫的侵袭是主要影响因素之一，因此水稻害虫及时有效防治迫在眉睫。传统的水稻害虫防护依靠人为查看和辨认，这会造成辨认错误或防治时效慢等不良后果，会导致水稻被侵害的面积巨大，既降低水稻产量，也带来大量粮食作物含有农药残留物的危害。因此，采用智能图像识别技术，实现害虫实时、准确有效识别，有利于害虫的高效精准防治。
图像智能识别技术[1-3]在农业领域应用较广，研究人员在作物害虫图像智能识别方面已开始初步探索。张建华等[4]针对棉花受棉蚜、棉叶螨、棉盲蝽、斜纹夜蛾和烟粉虱等害虫为害后叶片表面出现不同症状，提取色斑图像和非色斑图像的多个特征，并应用径向基支持向量机实现害虫识别，棉花虫害识别正确率达88.1%。Wang等[5]把人工神经网络和支持向量机作用于图像识别，构建一个昆蟲标本图像智能识别系统，其识别准确率达到93%。Bernardes等[6]使用小波变换能量特征提取和支持向量机的实际分类，分类的准确率为89.5%。Xie等[7]提出了基于多任务稀疏表示与多核学习的害虫图像分类方法，将该方法用于24种农田害虫图像的识别，准确率达到90.3%。谢成军等[8]提出了一种基于图像编码与空间金字塔模型相结合的农田害虫图像表示与识别方法，通过35种害虫的识别试验，平均识别准确率达到89.2%。杨国国等[9]把图像显著性检测技术应用到茶园害虫识别中，对数字图像进行显著性分析，实现在图像中对害虫进行定位并完成自动分割，从而提高茶园害虫识别准确率，使茶园害虫的识别率达到 91.5%。杨信延等[10]提出一种基于Canny边缘检测算子和Prewitt的分割方法，并结合SVM可实现对温室粉虱和蓟马诱虫板的识别，其平均识别准确率达93.5%。
目前，在农作害虫图像智能识别研究方面，多数研究成果聚焦于理论，鲜见报道考虑与实际应用相结合。鉴于此，笔者瞄准实际问题，以服务农业为根本，积极探索害虫图像智能识别应用研究。该研究以田间自然背景下害虫图像作为试验数据集，基于VGG模型构建智能识别系统，具有较高的实践使用价值。 1 資料与方法
1.1 试验环境
水稻害虫图像智能识别试验在装有4个NVIDIA Tesla P40 24 GB卡和2个Intel至强 E5-2697v4处理器18核36线程服务器上完成，该服务器装有Ubuntu 16.0操作系统、TensorFlow 1.0框架。
1.2 试验数据
试验选取的样本图像均在自然背景下地间田头采集而得，为后期实际推广应用奠定基础。试验共选取水稻害虫图像5类，其中条沙叶蝉459幅、大螟349幅、斑须蝽419幅、点蜂缘蝽281幅、白背飞虱312幅，共1 820幅样本图像，选取每个类别的80%数据构建训练集，剩余20%的数据构成测试集，具体分布见表1。
研究采用弱监督卷积神经网络技术实现图像智能识别，要求人工标注所有试验样本的类别信息。为了规范试验数据集，需要对数据集作如下统一处理：
①在Anaconda平台上对所有试验数据作删除重复样本和删除不清晰样本等预处理。如图1所示，分别是研究对象主体部分不可见和不清晰的样本。
②采用LabelImg工具，人工标注试验数据集。如图2所示，左图是原始样本，右图是已标注样本。
③根据标注文件，裁剪试验数据集。根据左边标注信息，在matlab平台上完成自动裁切工作，得到裁切后的样本（图3）。
④对裁剪后数据集进行二次去重和清除脏数据的处理。
⑤根据4∶1的比例构建试验的训练集和测试集。
1.3 试验方法
卷积神经网络是一种模拟人脑结构的多层次非全连接的神经网络，具有强大的特征提取能力，通过有监督的多层网络学习，能够直接从原始图像中识别理解图像内容[11-12]。VGG-16是一个经典的卷积神经网络模型，由Simonyan 等[13]在2014年提出，该网络模型共经历13次卷积层、4次池化和3个全连接层，共16层，具有局部连接、权值共享、池化等特点，其网络结构如图4所示。输入图片尺寸变化规律是从224x224到112x112等，直到最后变成7x7。因此VGG-16结构简单而优美，层次清晰，实现起来也很规整。VGG-16最大的特点是通过3×3滤波器的组合与堆叠，可提取输入图像包含的细小特征[14]。
试验的输入图像尺寸是3个通道的224×224，采用VGG-16构建可识别5种害虫的智能识别模型，整过网络模型分为卷积层、池化层、全连接层和分类层，其中卷积层共有5个卷积段，每个卷积段采用2或3个卷基层连续堆叠组成卷积序列，卷积过程中采用”SAME”模式，不会改变特征图的分辨率;在池化层采用2×2池化窗口，步长为2，用于减小卷积后的特征图像尺寸大小，也实现了模型的平移不变性;在全连接层由3个连续的全连接进行组合，通道数分别为4 096、4 096、1 000个;最后，在分类层由具有1 000个标签的SoftMax分类器进行分类输出。
2 结果与分析
试验采用准确率为考核指标，用Precision代表，计算方法如下：
Precision=TPTP+FP（1）
式中，TP 为正样本又被预测为正样本的个数，FP为负样本被预测为正样本的个数。
该试验在网络训练过程中重点优化的参数包括：卷积核数量、学习率、epoch的数量和batchsize，卷积核大小确定为2×2，卷积核数量太大，会导致计算量过大，影响训练速度，数量太少，会丢失很多有用信息，降低样本利用率;学习率对卷积神经网络模型训练影响较大，对于同一模型结构在其他条件相同的情况下，设置不同的学习率，以此确定适合于模型训练较优的学习率;batchsize的大小确定梯度下降的方向，取值恰当，能提高内存利用率，也能较快确定梯度下降方向，减少训练震荡;把epoch的数量设为1，可以把1个完整的数据集传递给神经网络训练，因为试验数据集的多样性，需要选择合适的epoch个数，不仅体现出试验数据集的特点，也不会导致模型过拟合或欠拟合。该试验训练中各项参数设置、准确率如表2，最优网络模型的loss曲线如图5所示，横坐标代表迭代次数，纵坐标表示loss值，损失曲线已相对稳定，未有较大震荡。
3 讨论
该研究结果表明，测试集准确率最优可达90.7%，与传统识别方法相同，在相同的测试集上识别准确率有较大提高。然而，害虫样本采集地环境较差，给田间实地采集工作带来很多不利影响，致使各类别害虫自然背景下图像样本的数量都很有限。因此，与在特定背景下害虫样本图像智能识别的准确率相比，该研究的识别准确率略低，分析其原因是由于受样本数量、自然背景复杂、害虫体态多变性和害虫颜色多样性等因素影响，后续将针对存在的问题进行深入研究，从而提高模型智能识别的准确。
4 结论
该研究采用VGG-16模型构建自然背景下水稻害虫图像智能识别系统，取得了较高的识别准确率，说明用智能识别技术帮助农民辨认害虫的设想有可行性。因该研究建立在自然背景下田间采集而得到的数据集上，样本能贴近田间实况，不拘泥于实验室的理想情况，研究成果具有很强的实践意义，对水稻作物害虫及时防治起到一定的指导作用，也证实了该研究成果有进一步推广应用的价值。
参考文献
[1]KRIZHEVSKY A，SUTSKEVER I，HINTON G E.ImageNet classification with Deep Convolutional Neural Networks[J].Advances in neural information processing systems，2012，25（2）：1106-1114.
[2]WANG J，YANG Y，MAO J H，et al.CNNRNN：A unified framework for multilabel image classification[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas，NV，USA：IEEE，2016. [3]DENG J，DONG W，SOCHER R，et al.ImageNet：A largescale hierarchical image database[C]// 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR 2009）.Miami，Florida，USA：IEEE，2009.
[4]张建华，冀荣华，袁雪，等.基于径向基支持向量机的棉花虫害识别[J].农业机械学报，2011，42（8）：178-183.
[5]WANG J N，LIN C T，JI L Q，et al.A new automatic identification system of insect images at the order level [J].Knowledgebased systems，2012，33：102-110.
[6]BERNARDES A A，ROGERI J G，OLIVEIRA R B，et al.Identification of foliar diseases in cotton crop[M]//TAVARES J M R S，NATAL JORGE R M.Topics in medical image processing & computational vision.Dordrecht：Springer，2013.
[7]XIE C J，ZHANG J，LI R，et al.Automatic classification for field crop insects via multiple-task sparse representation and multiple-kernel learning [J].Computers and electronics in agriculture，2015，119：123-132.
[8]謝成军，李瑞，董伟，等.基于稀疏编码金字塔模型的农田害虫图像识别[J].农业工程学报，2016，32（17）：144-151.
[9]杨国国，鲍一丹，刘子毅.基于图像显著性分析与卷积神经网络的茶园害虫定位与识别[J].农业工程学报，2017，33（6）：156-162.
[10]杨信廷，刘蒙蒙，许建平，等.自动监测装置用温室粉虱和蓟马成虫图像分割识别算法[J].农业工程学报，2018，34（1）：164-170.
[11]HINTON G E，SALAKHUTDINOV R R.Reducing the dimensionality of data with neural networks[J].Science，2006，313（5786）：504-507.
[12]ABDELHAMID O，MOHAMED A，JIANG H，et al.Convolutional neural networks for speech recognition[J].IEEE/ACM Transactions on Audio Speech & Language Processing，2014，22（10）：1533-1545.
[13]SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for largescale image recognition[R].2015.
[14]LIU H，LU J W，FENG J J，et al.Groupaware deep feature learning for facial age estimation[J].Pattern recognition，2017，66：82-94.
关键词 水稻;害虫;智能识别;VGG-16;卷积神经网络
中图分类号 S125 文献标识码 A 文章编号 0517-6611（2020）05-0235-04
doi：10.3969/j.issn.0517-6611.2020.05.066
开放科学（资源服务）标识码（OSID）：
Abstract In order to achieve realtime accurate recognition of rice pests in natural scenes， an intelligent rice pest recognition model based on VGG16 convolutional neural network was constructed. The model used the VGG16 convolutional neural network as the core network structure. According to the individual characteristics of rice pests and natural scenes， the convolutional layer of the VGG16 network was locally adjusted， the main model parameters were optimized， and intelligent recognition of rice pests was achieved. The average accuracy rate of recognition was 90.7%， which could accurately identify the leafhoppers， giant salamanders， spotted tadpoles， beetailed salamanders and whitebacked planthoppers. Research results showed that the use of convolutional neural network technology could achieve accurate recognition of pest images in natural scenes， instead of manual recognition to improve the pest control rate of rice， and to achieve the goal of realtime and accurate control.
Key words Rice;Insect pest;Intelligent recognition;VGG16;Convolutional neural network
水稻是我国重要的粮食作物，随着我国人口的逐年增长，粮食的需求量不断增大，因此，提高水稻产量成为影响国计民生的重要科研工作。在实际生产中，影响水稻产量的因素很多，害虫的侵袭是主要影响因素之一，因此水稻害虫及时有效防治迫在眉睫。传统的水稻害虫防护依靠人为查看和辨认，这会造成辨认错误或防治时效慢等不良后果，会导致水稻被侵害的面积巨大，既降低水稻产量，也带来大量粮食作物含有农药残留物的危害。因此，采用智能图像识别技术，实现害虫实时、准确有效识别，有利于害虫的高效精准防治。
图像智能识别技术[1-3]在农业领域应用较广，研究人员在作物害虫图像智能识别方面已开始初步探索。张建华等[4]针对棉花受棉蚜、棉叶螨、棉盲蝽、斜纹夜蛾和烟粉虱等害虫为害后叶片表面出现不同症状，提取色斑图像和非色斑图像的多个特征，并应用径向基支持向量机实现害虫识别，棉花虫害识别正确率达88.1%。Wang等[5]把人工神经网络和支持向量机作用于图像识别，构建一个昆蟲标本图像智能识别系统，其识别准确率达到93%。Bernardes等[6]使用小波变换能量特征提取和支持向量机的实际分类，分类的准确率为89.5%。Xie等[7]提出了基于多任务稀疏表示与多核学习的害虫图像分类方法，将该方法用于24种农田害虫图像的识别，准确率达到90.3%。谢成军等[8]提出了一种基于图像编码与空间金字塔模型相结合的农田害虫图像表示与识别方法，通过35种害虫的识别试验，平均识别准确率达到89.2%。杨国国等[9]把图像显著性检测技术应用到茶园害虫识别中，对数字图像进行显著性分析，实现在图像中对害虫进行定位并完成自动分割，从而提高茶园害虫识别准确率，使茶园害虫的识别率达到 91.5%。杨信延等[10]提出一种基于Canny边缘检测算子和Prewitt的分割方法，并结合SVM可实现对温室粉虱和蓟马诱虫板的识别，其平均识别准确率达93.5%。
目前，在农作害虫图像智能识别研究方面，多数研究成果聚焦于理论，鲜见报道考虑与实际应用相结合。鉴于此，笔者瞄准实际问题，以服务农业为根本，积极探索害虫图像智能识别应用研究。该研究以田间自然背景下害虫图像作为试验数据集，基于VGG模型构建智能识别系统，具有较高的实践使用价值。 1 資料与方法
1.1 试验环境
水稻害虫图像智能识别试验在装有4个NVIDIA Tesla P40 24 GB卡和2个Intel至强 E5-2697v4处理器18核36线程服务器上完成，该服务器装有Ubuntu 16.0操作系统、TensorFlow 1.0框架。
1.2 试验数据
试验选取的样本图像均在自然背景下地间田头采集而得，为后期实际推广应用奠定基础。试验共选取水稻害虫图像5类，其中条沙叶蝉459幅、大螟349幅、斑须蝽419幅、点蜂缘蝽281幅、白背飞虱312幅，共1 820幅样本图像，选取每个类别的80%数据构建训练集，剩余20%的数据构成测试集，具体分布见表1。
研究采用弱监督卷积神经网络技术实现图像智能识别，要求人工标注所有试验样本的类别信息。为了规范试验数据集，需要对数据集作如下统一处理：
①在Anaconda平台上对所有试验数据作删除重复样本和删除不清晰样本等预处理。如图1所示，分别是研究对象主体部分不可见和不清晰的样本。
②采用LabelImg工具，人工标注试验数据集。如图2所示，左图是原始样本，右图是已标注样本。
③根据标注文件，裁剪试验数据集。根据左边标注信息，在matlab平台上完成自动裁切工作，得到裁切后的样本（图3）。
④对裁剪后数据集进行二次去重和清除脏数据的处理。
⑤根据4∶1的比例构建试验的训练集和测试集。
1.3 试验方法
卷积神经网络是一种模拟人脑结构的多层次非全连接的神经网络，具有强大的特征提取能力，通过有监督的多层网络学习，能够直接从原始图像中识别理解图像内容[11-12]。VGG-16是一个经典的卷积神经网络模型，由Simonyan 等[13]在2014年提出，该网络模型共经历13次卷积层、4次池化和3个全连接层，共16层，具有局部连接、权值共享、池化等特点，其网络结构如图4所示。输入图片尺寸变化规律是从224x224到112x112等，直到最后变成7x7。因此VGG-16结构简单而优美，层次清晰，实现起来也很规整。VGG-16最大的特点是通过3×3滤波器的组合与堆叠，可提取输入图像包含的细小特征[14]。
试验的输入图像尺寸是3个通道的224×224，采用VGG-16构建可识别5种害虫的智能识别模型，整过网络模型分为卷积层、池化层、全连接层和分类层，其中卷积层共有5个卷积段，每个卷积段采用2或3个卷基层连续堆叠组成卷积序列，卷积过程中采用”SAME”模式，不会改变特征图的分辨率;在池化层采用2×2池化窗口，步长为2，用于减小卷积后的特征图像尺寸大小，也实现了模型的平移不变性;在全连接层由3个连续的全连接进行组合，通道数分别为4 096、4 096、1 000个;最后，在分类层由具有1 000个标签的SoftMax分类器进行分类输出。
2 结果与分析
试验采用准确率为考核指标，用Precision代表，计算方法如下：
Precision=TPTP+FP（1）
式中，TP 为正样本又被预测为正样本的个数，FP为负样本被预测为正样本的个数。
该试验在网络训练过程中重点优化的参数包括：卷积核数量、学习率、epoch的数量和batchsize，卷积核大小确定为2×2，卷积核数量太大，会导致计算量过大，影响训练速度，数量太少，会丢失很多有用信息，降低样本利用率;学习率对卷积神经网络模型训练影响较大，对于同一模型结构在其他条件相同的情况下，设置不同的学习率，以此确定适合于模型训练较优的学习率;batchsize的大小确定梯度下降的方向，取值恰当，能提高内存利用率，也能较快确定梯度下降方向，减少训练震荡;把epoch的数量设为1，可以把1个完整的数据集传递给神经网络训练，因为试验数据集的多样性，需要选择合适的epoch个数，不仅体现出试验数据集的特点，也不会导致模型过拟合或欠拟合。该试验训练中各项参数设置、准确率如表2，最优网络模型的loss曲线如图5所示，横坐标代表迭代次数，纵坐标表示loss值，损失曲线已相对稳定，未有较大震荡。
3 讨论
该研究结果表明，测试集准确率最优可达90.7%，与传统识别方法相同，在相同的测试集上识别准确率有较大提高。然而，害虫样本采集地环境较差，给田间实地采集工作带来很多不利影响，致使各类别害虫自然背景下图像样本的数量都很有限。因此，与在特定背景下害虫样本图像智能识别的准确率相比，该研究的识别准确率略低，分析其原因是由于受样本数量、自然背景复杂、害虫体态多变性和害虫颜色多样性等因素影响，后续将针对存在的问题进行深入研究，从而提高模型智能识别的准确。
4 结论
该研究采用VGG-16模型构建自然背景下水稻害虫图像智能识别系统，取得了较高的识别准确率，说明用智能识别技术帮助农民辨认害虫的设想有可行性。因该研究建立在自然背景下田间采集而得到的数据集上，样本能贴近田间实况，不拘泥于实验室的理想情况，研究成果具有很强的实践意义，对水稻作物害虫及时防治起到一定的指导作用，也证实了该研究成果有进一步推广应用的价值。
参考文献
[1]KRIZHEVSKY A，SUTSKEVER I，HINTON G E.ImageNet classification with Deep Convolutional Neural Networks[J].Advances in neural information processing systems，2012，25（2）：1106-1114.
[2]WANG J，YANG Y，MAO J H，et al.CNNRNN：A unified framework for multilabel image classification[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas，NV，USA：IEEE，2016. [3]DENG J，DONG W，SOCHER R，et al.ImageNet：A largescale hierarchical image database[C]// 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR 2009）.Miami，Florida，USA：IEEE，2009.
[4]张建华，冀荣华，袁雪，等.基于径向基支持向量机的棉花虫害识别[J].农业机械学报，2011，42（8）：178-183.
[5]WANG J N，LIN C T，JI L Q，et al.A new automatic identification system of insect images at the order level [J].Knowledgebased systems，2012，33：102-110.
[6]BERNARDES A A，ROGERI J G，OLIVEIRA R B，et al.Identification of foliar diseases in cotton crop[M]//TAVARES J M R S，NATAL JORGE R M.Topics in medical image processing & computational vision.Dordrecht：Springer，2013.
[7]XIE C J，ZHANG J，LI R，et al.Automatic classification for field crop insects via multiple-task sparse representation and multiple-kernel learning [J].Computers and electronics in agriculture，2015，119：123-132.
[8]謝成军，李瑞，董伟，等.基于稀疏编码金字塔模型的农田害虫图像识别[J].农业工程学报，2016，32（17）：144-151.
[9]杨国国，鲍一丹，刘子毅.基于图像显著性分析与卷积神经网络的茶园害虫定位与识别[J].农业工程学报，2017，33（6）：156-162.
[10]杨信廷，刘蒙蒙，许建平，等.自动监测装置用温室粉虱和蓟马成虫图像分割识别算法[J].农业工程学报，2018，34（1）：164-170.
[11]HINTON G E，SALAKHUTDINOV R R.Reducing the dimensionality of data with neural networks[J].Science，2006，313（5786）：504-507.
[12]ABDELHAMID O，MOHAMED A，JIANG H，et al.Convolutional neural networks for speech recognition[J].IEEE/ACM Transactions on Audio Speech & Language Processing，2014，22（10）：1533-1545.
[13]SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for largescale image recognition[R].2015.
[14]LIU H，LU J W，FENG J J，et al.Groupaware deep feature learning for facial age estimation[J].Pattern recognition，2017，66：82-94.