论文部分内容阅读
摘要基于RGB统计特征，设计了一套农作物虫害图像感知系统，以实现对农作物生长状态的实时监测与分析。系统以视频服务器为核心，在连续视频采集周期内通过自相关函数的计算，筛选出消除外部随机干扰的基准图像，对相邻的基准图像进行差分运算，消除相似像素并滤波后统计其RGB特征值。最后，在视频服务器中用VC++开发了人机交互界面，移动客户端可以通过桌面远程控制实现与服务器数据同步。
关键词 农作物；RGB；图像感知；虫害
中图分类号 TP23 文献标识码 A 文章编号 0517-6611（2017）27-0231-04
Abstract A crop pest image sensing system based on RGB statistical characteristics was designed， so as to realize the realtime monitoring and analysis of crop growth. The video server is used as the core of the system， and the reference image is eliminated by calculating the autocorrelation function in the continuous video acquisition period. The difference of adjacent pixels is calculated， the similar pixels are eliminated and after image filtering， the RGB characteristic values are calculated. The standard deviation of each component of RGB is used to describe the severity of the damage. Experimental results show that the sensitivity and accuracy of the system to different types and different degrees of pest invasion are satisfactory. Finally， we use the VC++ to develop the man-machine interface in the video server， and the mobile client can synchronize with the server through the remote control of the desktop.
Key words Crops；RGB；Image perception；Insect pests
農业生产信息化是现代农业生产发展的必然趋势，发达国家视频技术的应用已拓展到农业生产的全过程，极大地提高了农业生产力和农产品的竞争力，美国、日本等发达国家普遍采用计算机网络控制温室操作，全面感知各种环境因子，智能计算机系统可以通过网络摄像机监控温室中任何一个角落甚至任何一个对象[1-2]。
我国信息技术在农业生产服务领域中的应用起步较晚，但近年来已经取得长足的进步，已经具备一定的基础[3]。目前，国内外现代农业中视频的主要作用是采集现场图像，并不具备感知的功能，在农业物联网中增强直观的视频感知能力是农业物联网技术进步的表现。只有将视频服务贯穿在农业信息服务的全过程，实现农业生产现场与异构分布的客户端完全互连，才是视频技术服务农业物联网平台的智慧所在。笔者基于RGB统计特征，设计了一套农作物虫害图像感知系统。
1 系统结构
1.1 系统整体架构
系统由布置在现场的无线传感网络获取农作物的生长环境视频，通过物联网网关、视频服务器、无线网关与互联网传送至云端，用户可以在智能移动终端通过WIFI或移动网络获取现场图像及作物生长状态[4]。系统架构如图1所示。系统主要由无线传感测点、视频服务器、移动终端3个部分组成。
（1）无线传感测点。无线传感测点由多个参数相同的无线高清数字摄像机组成，采集农作物图像，经压缩后通过网关传递至视频服务器。
（2）视频服务器。
视频服务器为工业级计算机（IPC），主要功能是接收各测点的视频数据，统计并分析各测点图像的特征，将分析结果传递至移动终端，同时将所有视频数据传送至云端存储。目前，国内主流视频监控厂商都已架设私有云服务器，现场视频服务器可自由向云服务器上传压缩的视频数据。
（3）移动终端。移动终端显示各测点的视频图像的统计分析结果，通过远程桌面控制APP实现与视频服务器数据同步，不受时间和地域的限制。
1.2 服务器端图像处理过程
视频服务器完成视频图像的运算与处理，是系统中最关键的部分，在现场视频服务器中用VC++编写程序，实现对视频数据的处理，视频图像处理过程如图2所示。
2 基准图像的获取
当农作物遭受虫害时，视频中必然存在活动的物体，视频移动侦测法是判断视频图像发生动态变化常用的方法，然而生长在自然环境中的农作物易受外界干扰，视频时常发生动态变化，如遭遇风雨等天气。因此，采集消除外界干扰的基准图像是系统重要的前提工作[5]。
视频由连续的帧画面组成，一帧图像可以视为一个m×n的二维矩阵，矩阵中的每一个元素为一个像素，同一种型号的视频摄像机采集的画面是一系列大小相等的二维矩阵。由于农作物遭受虫害的过程相对于生长过程较快，基准图像的获取以分钟为采集周期，每分钟输出一张图像。在每个连续的60 s内，以5 s为采集周期，每分钟内可捕捉12帧图像，则此一分钟输出的基准图像I可表示为： 式（1）中，当12帧图像中满足任意2帧的自相关函数值都大于0.95时，即可从12帧中随机选取一帧作为基准图像输出。0.95为自相关函数的阈值，阈值越大则说明2帧画面相似度越高。此方法输出的基准图像可有效剔除受外界扰动影响的图像。记12帧图像中任意2帧为Amn和Bmn，则自相关函数r的计算方法如下：
3 基准图像的处理
3.1 差分运算
差分运算是一种用于检测图像变化及运动物体的图像处理方法，对于一系列相同场景的图像，差分法可以显示出2幅图像的差异[6]。差分法是通过对逐个像素进行减法运算，将一幅图像从另一幅图像中减去，为了避免负数的出现，计算结果应取绝对值。记Amn和 Bmn是相邻的2帧基准图像，则输出图像Cmn可表示为：
同一台数字摄像机捕捉的是在同一场景下且画面尺寸相同的农作物生长画面，当农作物遭受虫害时，通过差分法很容易辨别出受侵入害虫影响导致的画面差异。
3.2 中值滤波
基准图像是用相关函数剔除外部环境干扰后筛选出的农作物生长图像。当干扰较大时，如在有风的环境下，通过自相关函数的阈值限定可以剔除干扰；当干扰较小时，如光线的变化使得部分图像亮度和色彩饱和度发生变化，会在差分运算后的图像上留下随机的噪声[7]，当噪声被统计到RGB特征值中，使得计算结果发生偏差，从而影响到结果的判断。
中值滤波对随机噪声具有非常好的抑制能力[8]。由于同一场景下的2帧农作物生长状态图做差分运算后，除存在差异的像素外，其余像素值都为0，图像纹理变得简单。因此，可以采用3×3十字形滤波模板，其原理如图3所示。
4 试验测试与分析
为了保证系统的运算速度，在视频服务器中用VC++开发了农作物虫害图像感知人机界面，远程移动客户端通过远程桌面控制软件实现与视频服务器中人机界面同步。试验选取2种不同种类的农作物分别在正常和遭受虫害环境下进行测试。试验测试结果如图4～5所示。
图4（B）基准图像2中的虫子数量较多，由于差分运算消除了基准图像1与基准图像2中相同的像素值，因此图4（C）图像中较明显的部分主要是虫子的信息。由于图4（C）图像中大部分区域为黑色（灰度为0），故RGB分量的灰度值接近坐标原点，且RGB统计数据完全反映出虫害的信息。由表1可知，样品一3个分量的平均灰度和标准差均较大，说明遭受虫害的程度较为严重。
图5（B）基准图像2中的虫眼数量较小，且数量少，图5（C）滤波后的差分图像灰度等级较小，异常部分不是很明显，RGB统计图像中各分量虽然所占宽度较小，但各分量的幅值仍然较大。由表2可知，样品二3个分量的平均灰度和标准差均较小且比较接近，说明遭受虫害的程度较轻。
5 结语
笔者介绍了一种农作物虫害图像感知系统，通过在视频处理服务器端编程来实现对农作物生长状态基准图像的采集、运算、滤波等处理，并通过计算RGB分量完成对农作物遭受虫害状态的判断。结果表明，无论遭受虫害的程度较严重或较小，该方法都能监测到RGB分量相关参数值明显的变化，该系统的灵敏度和准确度都比较令人满意。该系统可以应用到农业物联网中，以扩展其功能。
参考文献
[1] BAIN C.The politics of food supply：U.S.agricultural policy in the world economy [J].Contemporary sociology，2010，39（2）：212-213.
[2] MAURSETH P B，FRANK B.The german information and communication technology（ICT）industry：Spatial growth and innovation patterns [J].Regional studies，2009，43（4）：605-624.
[3] 张晓东，毛罕平，倪军，等.作物生长多传感信息检测系统设计与应用[J].农业机械学报，2009，40（9）：164-170.
[4] 孙其博，刘杰，黎羴，等.物联网：概念、架构与关键技术研究综述[J].北京邮电大学学报，2010，33（3）：1-9.
[5] 朱颢东，吴迪，孙振，等.基于 PCA 和 AdaBoost.M1 的植物叶片图像识别方法[J].江苏农业科学，2016，44（12）：372-374.
[6] 沈宝国，陈树人，尹建军，等.基于颜色特征的棉田绿色杂草图像识别方法[J].农业工程学报，2009，25（6）：163-167.
[7] CAMARGO A，SMITH J S.Image pattern classification for the identification of disease causing agents in plants[J].Computers and electronics in agriculture，2009，66（2）：121-125.
[8] LOWE D G.Distinctive image features from scaleinvariant keypoints [J].International journal of computer vision，2004，60（2）：91-110.
[9] 岑喆鑫，李寶聚，石延霞，等.基于彩色图像颜色统计特征的黄瓜炭疽病和褐斑病的研究[J].园艺学报，2007，34（6）：1425-1430.
[10] YOUSEF A，LI J，KARIM M A.Highspeed image registration algorithm with subpixel accuracy[J].IEEE signal processing letters，2015，22（10）：1796-1800.
关键词 农作物；RGB；图像感知；虫害
中图分类号 TP23 文献标识码 A 文章编号 0517-6611（2017）27-0231-04
Abstract A crop pest image sensing system based on RGB statistical characteristics was designed， so as to realize the realtime monitoring and analysis of crop growth. The video server is used as the core of the system， and the reference image is eliminated by calculating the autocorrelation function in the continuous video acquisition period. The difference of adjacent pixels is calculated， the similar pixels are eliminated and after image filtering， the RGB characteristic values are calculated. The standard deviation of each component of RGB is used to describe the severity of the damage. Experimental results show that the sensitivity and accuracy of the system to different types and different degrees of pest invasion are satisfactory. Finally， we use the VC++ to develop the man-machine interface in the video server， and the mobile client can synchronize with the server through the remote control of the desktop.
Key words Crops；RGB；Image perception；Insect pests
農业生产信息化是现代农业生产发展的必然趋势，发达国家视频技术的应用已拓展到农业生产的全过程，极大地提高了农业生产力和农产品的竞争力，美国、日本等发达国家普遍采用计算机网络控制温室操作，全面感知各种环境因子，智能计算机系统可以通过网络摄像机监控温室中任何一个角落甚至任何一个对象[1-2]。
我国信息技术在农业生产服务领域中的应用起步较晚，但近年来已经取得长足的进步，已经具备一定的基础[3]。目前，国内外现代农业中视频的主要作用是采集现场图像，并不具备感知的功能，在农业物联网中增强直观的视频感知能力是农业物联网技术进步的表现。只有将视频服务贯穿在农业信息服务的全过程，实现农业生产现场与异构分布的客户端完全互连，才是视频技术服务农业物联网平台的智慧所在。笔者基于RGB统计特征，设计了一套农作物虫害图像感知系统。
1 系统结构
1.1 系统整体架构
系统由布置在现场的无线传感网络获取农作物的生长环境视频，通过物联网网关、视频服务器、无线网关与互联网传送至云端，用户可以在智能移动终端通过WIFI或移动网络获取现场图像及作物生长状态[4]。系统架构如图1所示。系统主要由无线传感测点、视频服务器、移动终端3个部分组成。
（1）无线传感测点。无线传感测点由多个参数相同的无线高清数字摄像机组成，采集农作物图像，经压缩后通过网关传递至视频服务器。
（2）视频服务器。
视频服务器为工业级计算机（IPC），主要功能是接收各测点的视频数据，统计并分析各测点图像的特征，将分析结果传递至移动终端，同时将所有视频数据传送至云端存储。目前，国内主流视频监控厂商都已架设私有云服务器，现场视频服务器可自由向云服务器上传压缩的视频数据。
（3）移动终端。移动终端显示各测点的视频图像的统计分析结果，通过远程桌面控制APP实现与视频服务器数据同步，不受时间和地域的限制。
1.2 服务器端图像处理过程
视频服务器完成视频图像的运算与处理，是系统中最关键的部分，在现场视频服务器中用VC++编写程序，实现对视频数据的处理，视频图像处理过程如图2所示。
2 基准图像的获取
当农作物遭受虫害时，视频中必然存在活动的物体，视频移动侦测法是判断视频图像发生动态变化常用的方法，然而生长在自然环境中的农作物易受外界干扰，视频时常发生动态变化，如遭遇风雨等天气。因此，采集消除外界干扰的基准图像是系统重要的前提工作[5]。
视频由连续的帧画面组成，一帧图像可以视为一个m×n的二维矩阵，矩阵中的每一个元素为一个像素，同一种型号的视频摄像机采集的画面是一系列大小相等的二维矩阵。由于农作物遭受虫害的过程相对于生长过程较快，基准图像的获取以分钟为采集周期，每分钟输出一张图像。在每个连续的60 s内，以5 s为采集周期，每分钟内可捕捉12帧图像，则此一分钟输出的基准图像I可表示为： 式（1）中，当12帧图像中满足任意2帧的自相关函数值都大于0.95时，即可从12帧中随机选取一帧作为基准图像输出。0.95为自相关函数的阈值，阈值越大则说明2帧画面相似度越高。此方法输出的基准图像可有效剔除受外界扰动影响的图像。记12帧图像中任意2帧为Amn和Bmn，则自相关函数r的计算方法如下：
3 基准图像的处理
3.1 差分运算
差分运算是一种用于检测图像变化及运动物体的图像处理方法，对于一系列相同场景的图像，差分法可以显示出2幅图像的差异[6]。差分法是通过对逐个像素进行减法运算，将一幅图像从另一幅图像中减去，为了避免负数的出现，计算结果应取绝对值。记Amn和 Bmn是相邻的2帧基准图像，则输出图像Cmn可表示为：
同一台数字摄像机捕捉的是在同一场景下且画面尺寸相同的农作物生长画面，当农作物遭受虫害时，通过差分法很容易辨别出受侵入害虫影响导致的画面差异。
3.2 中值滤波
基准图像是用相关函数剔除外部环境干扰后筛选出的农作物生长图像。当干扰较大时，如在有风的环境下，通过自相关函数的阈值限定可以剔除干扰；当干扰较小时，如光线的变化使得部分图像亮度和色彩饱和度发生变化，会在差分运算后的图像上留下随机的噪声[7]，当噪声被统计到RGB特征值中，使得计算结果发生偏差，从而影响到结果的判断。
中值滤波对随机噪声具有非常好的抑制能力[8]。由于同一场景下的2帧农作物生长状态图做差分运算后，除存在差异的像素外，其余像素值都为0，图像纹理变得简单。因此，可以采用3×3十字形滤波模板，其原理如图3所示。
4 试验测试与分析
为了保证系统的运算速度，在视频服务器中用VC++开发了农作物虫害图像感知人机界面，远程移动客户端通过远程桌面控制软件实现与视频服务器中人机界面同步。试验选取2种不同种类的农作物分别在正常和遭受虫害环境下进行测试。试验测试结果如图4～5所示。
图4（B）基准图像2中的虫子数量较多，由于差分运算消除了基准图像1与基准图像2中相同的像素值，因此图4（C）图像中较明显的部分主要是虫子的信息。由于图4（C）图像中大部分区域为黑色（灰度为0），故RGB分量的灰度值接近坐标原点，且RGB统计数据完全反映出虫害的信息。由表1可知，样品一3个分量的平均灰度和标准差均较大，说明遭受虫害的程度较为严重。
图5（B）基准图像2中的虫眼数量较小，且数量少，图5（C）滤波后的差分图像灰度等级较小，异常部分不是很明显，RGB统计图像中各分量虽然所占宽度较小，但各分量的幅值仍然较大。由表2可知，样品二3个分量的平均灰度和标准差均较小且比较接近，说明遭受虫害的程度较轻。
5 结语
笔者介绍了一种农作物虫害图像感知系统，通过在视频处理服务器端编程来实现对农作物生长状态基准图像的采集、运算、滤波等处理，并通过计算RGB分量完成对农作物遭受虫害状态的判断。结果表明，无论遭受虫害的程度较严重或较小，该方法都能监测到RGB分量相关参数值明显的变化，该系统的灵敏度和准确度都比较令人满意。该系统可以应用到农业物联网中，以扩展其功能。
参考文献
[1] BAIN C.The politics of food supply：U.S.agricultural policy in the world economy [J].Contemporary sociology，2010，39（2）：212-213.
[2] MAURSETH P B，FRANK B.The german information and communication technology（ICT）industry：Spatial growth and innovation patterns [J].Regional studies，2009，43（4）：605-624.
[3] 张晓东，毛罕平，倪军，等.作物生长多传感信息检测系统设计与应用[J].农业机械学报，2009，40（9）：164-170.
[4] 孙其博，刘杰，黎羴，等.物联网：概念、架构与关键技术研究综述[J].北京邮电大学学报，2010，33（3）：1-9.
[5] 朱颢东，吴迪，孙振，等.基于 PCA 和 AdaBoost.M1 的植物叶片图像识别方法[J].江苏农业科学，2016，44（12）：372-374.
[6] 沈宝国，陈树人，尹建军，等.基于颜色特征的棉田绿色杂草图像识别方法[J].农业工程学报，2009，25（6）：163-167.
[7] CAMARGO A，SMITH J S.Image pattern classification for the identification of disease causing agents in plants[J].Computers and electronics in agriculture，2009，66（2）：121-125.
[8] LOWE D G.Distinctive image features from scaleinvariant keypoints [J].International journal of computer vision，2004，60（2）：91-110.
[9] 岑喆鑫，李寶聚，石延霞，等.基于彩色图像颜色统计特征的黄瓜炭疽病和褐斑病的研究[J].园艺学报，2007，34（6）：1425-1430.
[10] YOUSEF A，LI J，KARIM M A.Highspeed image registration algorithm with subpixel accuracy[J].IEEE signal processing letters，2015，22（10）：1796-1800.