论文部分内容阅读
摘要：叶菜叶脉突出的形态特征能够较真实地体现出作物生长的状态。利用计算机图像处理技术提取叶脉形态特征，对于及时掌握蔬菜长势，实现植物生长柜环境智能控制等都具有重要的意义。对比了各通道的直方图分布后，选择利用颜色通道组合运算的方法对图像进行阈值分割，从而得到叶脉和叶片轮廓图像；然后采用数学形态学处理方法提取叶片整体边缘，再将二者相减实现叶脉的准确分割和提取。试验结果表明，利用叶肉与叶脉的颜色差异可以较好地实现叶脉提取。该方法能够为管理者衡量作物生长及后续决策处理创造条件，适合用于植物生长柜的智能监控。
关键词：叶脉；植物生长柜；颜色直方图；阈值分割；数学形态学
中图分类号： S24文献标志码： A文章编号：1002-1302（2015）01-0373-03
收稿日期：2014-03-06
项目基金：国家自然科学基金（编号：61275169、61178048）；国家社会科学基金（编号：BFA110049）；天津职业技术师范大学校级基金（编号：KYQD13022）；
作者简介：崔世钢（1963—），男，天津人，博士，教授，从事机器人控制、人工智能等方面的研究。E-mial：[email protected]。
通信作者：梁帆，博士，讲师，从事现代农业智能环境控制、医疗信号处理及手术机器人跟踪控制等方面的研究。E-mial：[email protected]。随着工业化的不断发展，环境污染及土地资源等已成为蔬菜种植面临的重大问题。LED植物生长柜采用综合环境控制的方法，在立体多层空间内通过高效利用LED光能，最小限度使用水和肥料，为蔬菜提供安全、舒适的生长环境以实现蔬菜的优质高产。
在植物生长柜管理与应用方面，为了能够及时掌握蔬菜的生长情况，根据蔬菜生长速度及营养状况调整植物生长柜环境参数和营养液配置，实现植物生长柜的智能控制，需要对蔬菜叶片特征进行分析。叶片是蔬菜进行光合作用和蒸腾作用的主要器官，通过提取叶片特征能够直观地反映出植物的生长速度及营养状况等信息。在叶类蔬菜的叶片上分布着明显可见的脉纹（即叶脉），一方面为叶提供水分和无机盐、输出光合产物，另一方面支撑着叶片，使之能伸展于空间，保证叶的生理功能顺利进行。叶脉结构表征了叶脉系统在叶片里的分布和排列样式[1-3]，叶脉密度和叶脉直径共同决定着叶脉系统的水力导度，直接影响到蔬菜叶片对水分和养分的传输和吸收，而且叶脉关系到叶片的寿命，一旦叶片受到损伤导致叶脉断裂，必将阻碍叶片吸收养分和水分，最终必将导致叶片枯死。
由于蔬菜粗大的叶脉在叶片生长发育过程中发挥着极其重要的作用，本研究从叶脉与叶肉的颜色差异入手，通过手机摄像头采集叶片图像，利用计算机图像处理技术分析提取叶脉信息，从而为衡量蔬菜生长状态、科学管理植物生长柜提供理论依据。
1材料与方法
1.1图像采集
为实现主叶脉与叶肉有效的分割，以实验室自主研发的LED植物生长柜中种植的小油菜作为试验对象。由于植物生长柜中LED灯光分布均匀，在植物向光性的作用下，蔬菜叶片生长较分散，这将有利于图像采集与特征分析。LED植物生长柜环境如图1所示。
为实现叶片信息的无损采集，本试验需要2个人配合拍摄图像。首先选择较为平整的叶片，一人将白色背景纸片贴近叶片下表面，使叶片与背景形成鲜明对比；其次为了避免彩色灯光颜色对图像分析的干扰，选择关闭植物生长柜内LED红色和蓝色光源，只保留LED白色光源；然后由另一人手持手机，使手机摄像头的光轴垂直于叶片所在的平面并保持固定距离对其拍摄；最后将采集的叶片图像传输至计算机，保存为.JPG格式，并作适当裁剪，方便后期图像处理。
1.2颜色模型
区分叶肉与叶脉最直接的方法就是利用2者之间颜色差距。常用的颜色分析模型有RGB模型和HSV模型[4-5]。其中RGB模型是用三维空间中的1个点来表示1种颜色，每个点有3个分量，即R、G、B分别代表该点红、绿、蓝3个通道，取值范围均为0～255；而HSV模型是从色调（hue，H）、饱和度（saturation，S）和亮度（value，V）的角度来分析处理图像的，色调H用一角度量来表示，红、绿、蓝分别相隔120度；饱和度S和亮度V的范围均为0～1。
在蔬菜生长过程中，叶片的颜色会由浅到深发生改变，所以单纯依靠单一的通道参数分析叶片不具备通用性。在叶片的图像分割方面，常用的颜色特征值除了颜色模型的单个分量外，还有超绿、超红等颜色特征，用以下公式表示：
超绿（extress green）：EG=2G-R-B；（1）
超红1（extress red 1）：ER1=1.4R-G-B；（2）
超红2（extress red 2）：ER2=1.4R-G。（3）
通过在公式（1）至公式（3）之间进行数学运算可得到一系列新的颜色值：
NC=0xR yG zB<0
xR yG zB其他
255xR yG zB>255。（4）
1.3图像分割
为了凸显叶脉的图像特征，需要对图像进行目标分割。阈值分割法是最常用的分割技术之一，其基本原理是通过设定不同的特征阈值，把图像像素分为若干类[6]。设原始图像为 f（x，y），按照一定的准则在f（x，y）中找到若干个特征值T1、T2、T3等，将图像分割为几部分，分割后的图像为：
g（x，y）=LN，f（x，y）≥TN
LN1，TN≤f（x，y） L1，T1≤f（x，y） L0，f（x，y）≤T1。（5）
通常利用灰度直方图来求双峰或多峰，并选择两峰之间谷底处的灰度值作为阈值。阈值T的选取是有效分割图像的关键，当选取全局阈值T=T[f（x，y）]对叶脉分割的效果不够理想时，可以选择局部阈值T=T[N（x，y），f（x，y）]，不仅考虑图像中点的灰度值，同时与点的局部邻域特征相结合，对图像进行分割处理，其中f（x，y）是点（x，y）的灰度值，N（x，y）是点（x，y）的局部邻域特性。 1.4形态学处理
数学形态学处理主要以图像的形态特征为研究对象，它通过设计一整套运算、概念和算法，用以描述图像的基本特征，理论虽然很复杂，但是基本思想却简单而完美。数学形态学的基本变换有膨胀、腐蚀、开运算和闭运算[7-9]，它利用一个称作结构元素的“探针”收集图像的信息，当探针在图像中不断移动时，便可考察图像各个部分之间的相互关系，从而了解图像的结构特征。结构元素通常有线形、圆盘形、矩形等。二维结构元素矩阵由0和1组成，其中数值为1的点决定结构元素的邻域像素在进行运算时是否参加计算。
腐蚀是把结构元素B平移a后得到Ba，若Ba包含于X，则记下a点。对所有满足上述条件的a点组成的集合称做X被B腐蚀的结果，用公式表示为：E（X）={a|Ba∈X}=XθB；膨胀是腐蚀的对偶运算，其定义是把结构元素B平移a后得到Ba，若Ba击中X，则记下这个a点。对所有满足上述条件的a点组成的集合称做X被B膨胀的结果，用公式表示为：D（X）={x|B[x]∩x≠ф}=X⊕B。在数学形态学中，最为重要的2个组合运算是开运算和闭运算。先腐蚀后膨胀称为开运算，即OPEN（X）=D（E（X）） 。开运算可以消除散点和毛刺，即对图像进行平滑。先膨胀后腐蚀称为闭运算，即CLOSE（X）=E（D（X））。 选择适当的元素结构可以通过闭运算将2个邻近的目标连接起来。利用形态学膨胀、腐蚀等组合运算可以实现目标对象的图像填充、边缘提取以及消除孤立点等功能。
2结果与分析
2.1颜色图像分析
对采集到的不同成熟度的叶片图像利用Matlab软件处理。在分别提取图像在RGB空间和HSV空间各个分量的灰度图像以及对应的直方图分布进行分析后发现，虽然不同，叶片的各个颜色分量分布不同，但是对每个叶片而言，R、G、V 3个分量图像中叶脉的形态较清晰，直方图中的波峰和波谷相对其他通道而言对比较明显，但是实际的叶脉分割效果并不是很理想，由此得出仅对单通道进行叶脉提取的可操作性较低。
因此结合颜色直方图，本研究选择将R、G、B 3个通道相互之间组合运算，使其直方图分布呈现明显的双峰型分布（图2），便于寻找阈值以有效地对叶脉进行分割和提取。
2.2叶脉分割
此时，虽然直方图双峰分布明显，但分布范围并不均匀，如果将其集中的灰度值均匀地分布开来，叶脉图像会变得更加清晰。因此，在阈值分割之前先对图像进行灰度调整，增强叶肉与叶脉的对比度，从而使图像的分割效果更为理想。
在阈值分割时，根据直方图中其波谷的位置选择阈值进行二值化处理，将叶肉的像素设置为0，叶脉的像素设置为1，从而使叶肉与叶脉形成鲜明的对比，如图3所示。此时得到的图像包含了叶脉与叶片轮廓，还需进一步处理，其流程图如图4所示。
对比多种结构元素之后，选择半径为2的圆盘形结构元素对叶片整体的二值化图像分别进行了膨胀和腐蚀，然后将二者相减得到叶片轮廓的边缘图像B。再将原叶脉分割图像A减去叶片轮廓图B后，便可得到只含有叶脉形态的图像C。此时图像中仍存在有许多孤立点有待去除或者连接，所以还需要对图像进行开闭等运算，以得到形态结构较为理想的叶脉图像D，如图5所示。
3结论与讨论
本研究提出的基于颜色特征的叶肉与叶脉分割算法，利用RGB颜色空间中R、G、B 3个颜色通道信息进行组合运算，对采集的叶片图像进行颜色特征分析和阈值分割，并与数学形态学处理相结合提取出叶脉图像[10-11]。结果表明，本研究所采用的图像处理方法能够有效地提取出叶脉的特征信息。叶脉在叶片生长过程中发挥着结构性支撑、抵御侵害、传输养分等功能，可以说决定着蔬菜叶片的一切。对叶脉特征提取和分析是研究植物生长柜内蔬菜栽培等农业应用的重要工作之一，为科学管理作物、实现植物生长柜智能化控制以及促进增产增收提供了技术支持。
参考文献：
[1]Blonder B，Violle C，Bentley L P，et al. Venation networks and the origin of the leaf economics spectrum[J]. Ecology Letters，2011，14（2）：91-100.
[2]Sack L，Scoffoni C. Leaf venation：structure，function，development，evolution，ecology and applications in the past，present and future[J]. The New Phytologist，2013，198（4）：983-1000.
[3]李樂，曾辉，郭大立. 叶脉网络功能性状及其生态学意义[J]. 植物生态学报，2013，37（7）：691-698.
[4]韩殿元，黄心渊，付慧. 基于彩色通道相似性图像分割方法的植物叶面积计算[J]. 农业工程学报，2012，28（6）：179-183.
[5]李灿灿，孙长辉，王静，等. 基于改进的Sobel算子和色调信息的叶脉提取方法[J]. 农业工程学报，2011，27（7）：196-199.
[6]王晓峰，黄德双，杜吉祥，等. 叶片图像特征提取与识别技术的研究[J]. 计算机工程与应用，2006，42（3）：190-193.
[7]王征. 一种基于数学形态学的边缘检测方法[J]. 计算机与数字工程，2012，40（2）：102-104.
[8]王萍，唐江丰，王博，等. 基于数学形态学的植物叶片图像分割方法研究[J]. 浙江农业学报，2012，24（3）：509-513.
[9]谭峰，高艳萍. 基于图像的植物叶面积无损测量方法研究[J]. 农业工程学报，2008，24（5）：170-173.
[10]袁道军，刘安国，刘志雄，等. 利用计算机视觉技术进行作物生长监测的研究进展[J]. 农业网络信息，2007（2）：21-25.
[11]金秋春，郑小东，童小利. 多方向Top-Hat变换在叶脉特征提取中的应用研究[J]. 计算机工程与应用，2011，47（4）：195-197.刘艳，许建民，王永平，等. 可控温度与时间的植物病毒热钝化系统[J]. 江苏农业科学，2015，43（1）：376-380.
关键词：叶脉；植物生长柜；颜色直方图；阈值分割；数学形态学
中图分类号： S24文献标志码： A文章编号：1002-1302（2015）01-0373-03
收稿日期：2014-03-06
项目基金：国家自然科学基金（编号：61275169、61178048）；国家社会科学基金（编号：BFA110049）；天津职业技术师范大学校级基金（编号：KYQD13022）；
作者简介：崔世钢（1963—），男，天津人，博士，教授，从事机器人控制、人工智能等方面的研究。E-mial：[email protected]。
通信作者：梁帆，博士，讲师，从事现代农业智能环境控制、医疗信号处理及手术机器人跟踪控制等方面的研究。E-mial：[email protected]。随着工业化的不断发展，环境污染及土地资源等已成为蔬菜种植面临的重大问题。LED植物生长柜采用综合环境控制的方法，在立体多层空间内通过高效利用LED光能，最小限度使用水和肥料，为蔬菜提供安全、舒适的生长环境以实现蔬菜的优质高产。
在植物生长柜管理与应用方面，为了能够及时掌握蔬菜的生长情况，根据蔬菜生长速度及营养状况调整植物生长柜环境参数和营养液配置，实现植物生长柜的智能控制，需要对蔬菜叶片特征进行分析。叶片是蔬菜进行光合作用和蒸腾作用的主要器官，通过提取叶片特征能够直观地反映出植物的生长速度及营养状况等信息。在叶类蔬菜的叶片上分布着明显可见的脉纹（即叶脉），一方面为叶提供水分和无机盐、输出光合产物，另一方面支撑着叶片，使之能伸展于空间，保证叶的生理功能顺利进行。叶脉结构表征了叶脉系统在叶片里的分布和排列样式[1-3]，叶脉密度和叶脉直径共同决定着叶脉系统的水力导度，直接影响到蔬菜叶片对水分和养分的传输和吸收，而且叶脉关系到叶片的寿命，一旦叶片受到损伤导致叶脉断裂，必将阻碍叶片吸收养分和水分，最终必将导致叶片枯死。
由于蔬菜粗大的叶脉在叶片生长发育过程中发挥着极其重要的作用，本研究从叶脉与叶肉的颜色差异入手，通过手机摄像头采集叶片图像，利用计算机图像处理技术分析提取叶脉信息，从而为衡量蔬菜生长状态、科学管理植物生长柜提供理论依据。
1材料与方法
1.1图像采集
为实现主叶脉与叶肉有效的分割，以实验室自主研发的LED植物生长柜中种植的小油菜作为试验对象。由于植物生长柜中LED灯光分布均匀，在植物向光性的作用下，蔬菜叶片生长较分散，这将有利于图像采集与特征分析。LED植物生长柜环境如图1所示。
为实现叶片信息的无损采集，本试验需要2个人配合拍摄图像。首先选择较为平整的叶片，一人将白色背景纸片贴近叶片下表面，使叶片与背景形成鲜明对比；其次为了避免彩色灯光颜色对图像分析的干扰，选择关闭植物生长柜内LED红色和蓝色光源，只保留LED白色光源；然后由另一人手持手机，使手机摄像头的光轴垂直于叶片所在的平面并保持固定距离对其拍摄；最后将采集的叶片图像传输至计算机，保存为.JPG格式，并作适当裁剪，方便后期图像处理。
1.2颜色模型
区分叶肉与叶脉最直接的方法就是利用2者之间颜色差距。常用的颜色分析模型有RGB模型和HSV模型[4-5]。其中RGB模型是用三维空间中的1个点来表示1种颜色，每个点有3个分量，即R、G、B分别代表该点红、绿、蓝3个通道，取值范围均为0～255；而HSV模型是从色调（hue，H）、饱和度（saturation，S）和亮度（value，V）的角度来分析处理图像的，色调H用一角度量来表示，红、绿、蓝分别相隔120度；饱和度S和亮度V的范围均为0～1。
在蔬菜生长过程中，叶片的颜色会由浅到深发生改变，所以单纯依靠单一的通道参数分析叶片不具备通用性。在叶片的图像分割方面，常用的颜色特征值除了颜色模型的单个分量外，还有超绿、超红等颜色特征，用以下公式表示：
超绿（extress green）：EG=2G-R-B；（1）
超红1（extress red 1）：ER1=1.4R-G-B；（2）
超红2（extress red 2）：ER2=1.4R-G。（3）
通过在公式（1）至公式（3）之间进行数学运算可得到一系列新的颜色值：
NC=0xR yG zB<0
xR yG zB其他
255xR yG zB>255。（4）
1.3图像分割
为了凸显叶脉的图像特征，需要对图像进行目标分割。阈值分割法是最常用的分割技术之一，其基本原理是通过设定不同的特征阈值，把图像像素分为若干类[6]。设原始图像为 f（x，y），按照一定的准则在f（x，y）中找到若干个特征值T1、T2、T3等，将图像分割为几部分，分割后的图像为：
g（x，y）=LN，f（x，y）≥TN
LN1，TN≤f（x，y）
通常利用灰度直方图来求双峰或多峰，并选择两峰之间谷底处的灰度值作为阈值。阈值T的选取是有效分割图像的关键，当选取全局阈值T=T[f（x，y）]对叶脉分割的效果不够理想时，可以选择局部阈值T=T[N（x，y），f（x，y）]，不仅考虑图像中点的灰度值，同时与点的局部邻域特征相结合，对图像进行分割处理，其中f（x，y）是点（x，y）的灰度值，N（x，y）是点（x，y）的局部邻域特性。 1.4形态学处理
数学形态学处理主要以图像的形态特征为研究对象，它通过设计一整套运算、概念和算法，用以描述图像的基本特征，理论虽然很复杂，但是基本思想却简单而完美。数学形态学的基本变换有膨胀、腐蚀、开运算和闭运算[7-9]，它利用一个称作结构元素的“探针”收集图像的信息，当探针在图像中不断移动时，便可考察图像各个部分之间的相互关系，从而了解图像的结构特征。结构元素通常有线形、圆盘形、矩形等。二维结构元素矩阵由0和1组成，其中数值为1的点决定结构元素的邻域像素在进行运算时是否参加计算。
腐蚀是把结构元素B平移a后得到Ba，若Ba包含于X，则记下a点。对所有满足上述条件的a点组成的集合称做X被B腐蚀的结果，用公式表示为：E（X）={a|Ba∈X}=XθB；膨胀是腐蚀的对偶运算，其定义是把结构元素B平移a后得到Ba，若Ba击中X，则记下这个a点。对所有满足上述条件的a点组成的集合称做X被B膨胀的结果，用公式表示为：D（X）={x|B[x]∩x≠ф}=X⊕B。在数学形态学中，最为重要的2个组合运算是开运算和闭运算。先腐蚀后膨胀称为开运算，即OPEN（X）=D（E（X）） 。开运算可以消除散点和毛刺，即对图像进行平滑。先膨胀后腐蚀称为闭运算，即CLOSE（X）=E（D（X））。 选择适当的元素结构可以通过闭运算将2个邻近的目标连接起来。利用形态学膨胀、腐蚀等组合运算可以实现目标对象的图像填充、边缘提取以及消除孤立点等功能。
2结果与分析
2.1颜色图像分析
对采集到的不同成熟度的叶片图像利用Matlab软件处理。在分别提取图像在RGB空间和HSV空间各个分量的灰度图像以及对应的直方图分布进行分析后发现，虽然不同，叶片的各个颜色分量分布不同，但是对每个叶片而言，R、G、V 3个分量图像中叶脉的形态较清晰，直方图中的波峰和波谷相对其他通道而言对比较明显，但是实际的叶脉分割效果并不是很理想，由此得出仅对单通道进行叶脉提取的可操作性较低。
因此结合颜色直方图，本研究选择将R、G、B 3个通道相互之间组合运算，使其直方图分布呈现明显的双峰型分布（图2），便于寻找阈值以有效地对叶脉进行分割和提取。
2.2叶脉分割
此时，虽然直方图双峰分布明显，但分布范围并不均匀，如果将其集中的灰度值均匀地分布开来，叶脉图像会变得更加清晰。因此，在阈值分割之前先对图像进行灰度调整，增强叶肉与叶脉的对比度，从而使图像的分割效果更为理想。
在阈值分割时，根据直方图中其波谷的位置选择阈值进行二值化处理，将叶肉的像素设置为0，叶脉的像素设置为1，从而使叶肉与叶脉形成鲜明的对比，如图3所示。此时得到的图像包含了叶脉与叶片轮廓，还需进一步处理，其流程图如图4所示。
对比多种结构元素之后，选择半径为2的圆盘形结构元素对叶片整体的二值化图像分别进行了膨胀和腐蚀，然后将二者相减得到叶片轮廓的边缘图像B。再将原叶脉分割图像A减去叶片轮廓图B后，便可得到只含有叶脉形态的图像C。此时图像中仍存在有许多孤立点有待去除或者连接，所以还需要对图像进行开闭等运算，以得到形态结构较为理想的叶脉图像D，如图5所示。
3结论与讨论
本研究提出的基于颜色特征的叶肉与叶脉分割算法，利用RGB颜色空间中R、G、B 3个颜色通道信息进行组合运算，对采集的叶片图像进行颜色特征分析和阈值分割，并与数学形态学处理相结合提取出叶脉图像[10-11]。结果表明，本研究所采用的图像处理方法能够有效地提取出叶脉的特征信息。叶脉在叶片生长过程中发挥着结构性支撑、抵御侵害、传输养分等功能，可以说决定着蔬菜叶片的一切。对叶脉特征提取和分析是研究植物生长柜内蔬菜栽培等农业应用的重要工作之一，为科学管理作物、实现植物生长柜智能化控制以及促进增产增收提供了技术支持。
参考文献：
[1]Blonder B，Violle C，Bentley L P，et al. Venation networks and the origin of the leaf economics spectrum[J]. Ecology Letters，2011，14（2）：91-100.
[2]Sack L，Scoffoni C. Leaf venation：structure，function，development，evolution，ecology and applications in the past，present and future[J]. The New Phytologist，2013，198（4）：983-1000.
[3]李樂，曾辉，郭大立. 叶脉网络功能性状及其生态学意义[J]. 植物生态学报，2013，37（7）：691-698.
[4]韩殿元，黄心渊，付慧. 基于彩色通道相似性图像分割方法的植物叶面积计算[J]. 农业工程学报，2012，28（6）：179-183.
[5]李灿灿，孙长辉，王静，等. 基于改进的Sobel算子和色调信息的叶脉提取方法[J]. 农业工程学报，2011，27（7）：196-199.
[6]王晓峰，黄德双，杜吉祥，等. 叶片图像特征提取与识别技术的研究[J]. 计算机工程与应用，2006，42（3）：190-193.
[7]王征. 一种基于数学形态学的边缘检测方法[J]. 计算机与数字工程，2012，40（2）：102-104.
[8]王萍，唐江丰，王博，等. 基于数学形态学的植物叶片图像分割方法研究[J]. 浙江农业学报，2012，24（3）：509-513.
[9]谭峰，高艳萍. 基于图像的植物叶面积无损测量方法研究[J]. 农业工程学报，2008，24（5）：170-173.
[10]袁道军，刘安国，刘志雄，等. 利用计算机视觉技术进行作物生长监测的研究进展[J]. 农业网络信息，2007（2）：21-25.
[11]金秋春，郑小东，童小利. 多方向Top-Hat变换在叶脉特征提取中的应用研究[J]. 计算机工程与应用，2011，47（4）：195-197.刘艳，许建民，王永平，等. 可控温度与时间的植物病毒热钝化系统[J]. 江苏农业科学，2015，43（1）：376-380.