论文部分内容阅读
摘要：为了能够更加简略和清晰的分割手部图像，该文提出一种基于HSI颜色空间的手部识别算法：先利用HSI空间通过色调、亮度和色彩度来描述图像，然后进行闭运算与孔洞填充。实验证明，该算法能够较为有效地将手部从背景中提取出来。
关键词：手部图像分割；HSI；孔洞填充
中图分类号：TP751 文献标识码：A 文章编号：1009-3044（2015）13-0187-02
Abstract： In order to develop a simple system of hand image segmentation， we proposed a novel algorithm based on HSI color space. The proposed method first transformed the image from RGB to HSI color space， followed by a morphological operation. Experiments showed that our proposed algorithm can extract hand from background efficiently.
Key words： hand image segmentation； HSI； hole filling
手部识别的应用范围广阔，许多学者及研究机构都在对此进行研究。手部识别涉及图像处理和特征提取等操作，在已有的研究成果和算法中，最常使用的方法是机器视觉技术[1-3]，很多研究者通过诸多不同的机器视觉技术实现了精确有效地手部识别。Bhuyan M K等[4]提出一组新的描述手部连续姿态的特征集。郭训力等[4]提出一种融合肤色模型和三维深度信息的手部识别方法。覃文军等[5]提出了通过形状特征检测的手势感兴趣区提取方法。魏来等[6]利用Kinect的关节点信息和肤色颜色模型提取出手部区域。柴功博等[7]提出一种基于手掌分割的摄像机阵列手部定位技术。DE STEFANO C等[8]将遗传算法应用于模式识别中对手部图像的处理。Domino F等人[9]提出一种基于深度描述子的算法用于手部识别。Gupta P等[10]提出从图像中首先分割手指，然后综合得到手部图像的方法。Jiang F等[11]提出视角独立的基于Kinect的手部提取方法。Kang W X等[12]提出姿态独立的基于手指几何形状的手部识别方法。Ohn-Bar E等[13]提出一种实时的用于自动化界面的手部识别算法。此外，还有通过外部设备获取生物电信号实现手部识别的方法，郭一娜等[14]提出一种基于肌电信号与柔性神经树（Flexible Neural Trees）FNT模型的实时手势识别模型。
以上算法存在以下问题：（1） 算法实现过于复杂；（2） 工程实现难度较大。本研究目的是开发一种简单且复杂度较低的系统，以解决手部识别。本文根据手部与周围背景在HSI颜色分量上的差异，对HSI图像进行阈值变换，得到二值图像，再进行开闭操作及特征提取，最后完成手部的识别过程。
1 数据采集
我们利用数码相机，采集了26幅手部图像，其中男性和女性样本各13副，年龄在18到20岁之间。拍摄选择不同的角度。图 1给出了4幅手部图像示意图。
2 方法
本文方法分为如下三个步骤（图 2）。在采集原始手部图像后，首先通过HSI色彩空间进行多通道阈值分割，得到二值图像；接着通过形态学操作，填充孔洞。
2.1 基于HSI颜色空间的阈值分割
首先将原始图像从RGB空间转换到HSI空间[15]。
HSI色彩空间中色度（H）表示不同的颜色，饱和度（S）表示颜色的深浅，亮度（I）表示颜色的明暗程度。本文利用手部和周围环境在HSI颜色空间上的差异进行识别。截取样本图像中的感兴趣区域（ROI），即图像中的手部部分，对其HSI分量进行统计，得到其分量直方图如图3.可见，手部图像在HSI颜色分量直方图上均可用一孤立波峰表示。
由上述三分量直方图可得出手部的HSI分量分布区域，进而提取规则，根据规则可将图像二值化。设H（m.n）， S（m，n）， I（m，n）分别代表像素（m，n）处的H、S、I分量值，bw（m，n）代表该点的二值化结果，则规则定义为：
2.2形态学操作
图像转换为二值图像后，手部图像可能会因为表面纹理粗糙造成图像中存在孔洞，因此要将变换后的二值图像进行孔洞填充处理。接着还要对图像进行闭运算，即以白色手部区域为前景，其余黑色部分为背景，先膨胀再腐蚀，将图像中的缺口连接起来，并填充比结构元素小的洞，平滑对象的轮廓。进行闭运算后，再进行一次孔洞填充，补完图像。
3 实验
编程语言采用Matlab2014a，在主频为2.50GHz、CPU为Intel Core i5、内存为8GB的Lenovo G480笔记本电脑上运行。我们设计如下2个实验任务。
将图 4（a）原始彩色图像转换为HSI色彩空间后，利用式（1）得到预分割的二值图像如图 4（b）所示，手部的大致边缘均包含在得到的二值图像内。缺陷在于，手部存在孔洞。
进一步，图 4（c）是对二值图像进行孔洞填充、闭运算、再次孔洞填充后得到的变换图。可见，经过形态学操作后，前景图像（手部）中的孔洞已较好的予以填充，能够完整地反映手部的形状。
4 结论
本文基于HSI颜色空间所提出的彩色阈值变换图像分割算法，同时引入形态学操作。实验发现该算法能较好的填充孔洞。算法具有较高的准确率，能够很好地将手部从背景中提取出来。
本文方法的缺点在于，在采集的样本图像中有部分提取后偏差较大，尤其是背景色彩较为复杂、光照过强或过弱的样本，由于此次样本有限，未能做进一步分析。另外，算法评价过于主观，需要进一步采用客观的量化评价方法。今后的工作将继续完善本算法，考虑引入神经网络与进化计算方法[16， 17]，以进一步提高该算法的健壮性，保证该算法在各种条件下都能适用。 参考文献：
[1] 张煜东， 颜俊， 王水花， 等. 非参数估计方法[J]. 武汉工程大学学报， 2010， 32（7）： 99-106.
[2] 张煜东， 霍元铠， 吴乐南， 等. 降维技术与方法综述[J]. 四川兵工学报， 2010， 31（10）： 1-7.
[3] 张煜东， 吴乐南， 王水花. 专家系统发展综述[J]. 计算机工程与应用， 2010， 46（19）： 43-47.
[4] BHUYAN M K， KUMAR D A， MACDORMAN K F， 等. A novel set of features for continuous hand gesture recognition[J]. Journal on Multimodal User Interfaces， 2014， 8（4）： 333-343.
[5] 覃文军， 杨金柱， 赵大哲. 基于形状特征检测的手势感兴趣区提取方法[J]. 机器人技术与应用， 2012（6）： 39-41.
[6] 魏来， 王迪， 邢程， 等. 基于kinect的手指定位[J]. 电脑知识与技术， 2014， 10（28）： 6713-6715.
[7] 柴功博， 顾宏斌， 吴东苏， 等. 基于手掌分割的摄像机阵列手部定位技术研究[J]. 仪器仪表学报， 2012， 33（11）： 2535-2545.
[8] DE STEFANO C， FONTANELLA F， MARROCCO C， 等. A GA-based feature selection approach with an application to handwritten character recognition[J]. Pattern Recognition Letters， 2014， 35（0）： 130-141.
[9] DOMINIO F， DONADEO M， ZANUTTIGH P. Combining multiple depth-based descriptors for hand gesture recognition[J]. Pattern Recognition Letters， 2014， 50（101-111.
（下转第191页）
（上接第188页）
[10] GUPTA P， GUPTA P. An efficient slap fingerprint segmentation and hand classification algorithm[J]. Neurocomputing， 2014， 142（464-477.
[11] JIANG F， WU S， YANG G， 等. Viewpoint-independent hand gesture recognition with Kinect[J]. Signal Image and Video Processing， 2014， 8（S163-S172.
[12] KANG W X， WU Q X. Pose-Invariant Hand Shape Recognition Based on Finger Geometry[J]. Ieee Transactions on Systems Man Cybernetics-Systems， 2014， 44（11）： 1510-1521.
[13] OHN-BAR E， TRIVEDI M M. Hand Gesture Recognition in Real Time for Automotive Interfaces： A Multimodal Vision-Based Approach and Evaluations[J]. Ieee Transactions on Intelligent Transportation Systems， 2014， 15（6）： 2368-2377.
[14] 郭一娜， 王清华， 艾杰特·亚伯拉罕. 基于柔性神经树和表面肌电信号的手势识别模型[J]. 计算机应用与软件， 2012， 29（4）： 170-173.
[15] 庞晓敏， 闵子建， 阚江明. 基于HSI和LAB颜色空间的彩色图像分割[J]. 广西大学学报：自然科学版， 2011，36（6）：976-980.
[16] 张煜东， 吴乐南， 吴含前. 工程优化问题中神经网络与进化算法的比较[J]. 计算机工程与应用， 2009（3）： 1-6.
[17] 张煜东， 吴乐南， 奚吉， 等. 进化计算研究现状（上） [J]. 电脑开发与应用， 2009， 22（12）： 1-5.
关键词：手部图像分割；HSI；孔洞填充
中图分类号：TP751 文献标识码：A 文章编号：1009-3044（2015）13-0187-02
Abstract： In order to develop a simple system of hand image segmentation， we proposed a novel algorithm based on HSI color space. The proposed method first transformed the image from RGB to HSI color space， followed by a morphological operation. Experiments showed that our proposed algorithm can extract hand from background efficiently.
Key words： hand image segmentation； HSI； hole filling
手部识别的应用范围广阔，许多学者及研究机构都在对此进行研究。手部识别涉及图像处理和特征提取等操作，在已有的研究成果和算法中，最常使用的方法是机器视觉技术[1-3]，很多研究者通过诸多不同的机器视觉技术实现了精确有效地手部识别。Bhuyan M K等[4]提出一组新的描述手部连续姿态的特征集。郭训力等[4]提出一种融合肤色模型和三维深度信息的手部识别方法。覃文军等[5]提出了通过形状特征检测的手势感兴趣区提取方法。魏来等[6]利用Kinect的关节点信息和肤色颜色模型提取出手部区域。柴功博等[7]提出一种基于手掌分割的摄像机阵列手部定位技术。DE STEFANO C等[8]将遗传算法应用于模式识别中对手部图像的处理。Domino F等人[9]提出一种基于深度描述子的算法用于手部识别。Gupta P等[10]提出从图像中首先分割手指，然后综合得到手部图像的方法。Jiang F等[11]提出视角独立的基于Kinect的手部提取方法。Kang W X等[12]提出姿态独立的基于手指几何形状的手部识别方法。Ohn-Bar E等[13]提出一种实时的用于自动化界面的手部识别算法。此外，还有通过外部设备获取生物电信号实现手部识别的方法，郭一娜等[14]提出一种基于肌电信号与柔性神经树（Flexible Neural Trees）FNT模型的实时手势识别模型。
以上算法存在以下问题：（1） 算法实现过于复杂；（2） 工程实现难度较大。本研究目的是开发一种简单且复杂度较低的系统，以解决手部识别。本文根据手部与周围背景在HSI颜色分量上的差异，对HSI图像进行阈值变换，得到二值图像，再进行开闭操作及特征提取，最后完成手部的识别过程。
1 数据采集
我们利用数码相机，采集了26幅手部图像，其中男性和女性样本各13副，年龄在18到20岁之间。拍摄选择不同的角度。图 1给出了4幅手部图像示意图。
2 方法
本文方法分为如下三个步骤（图 2）。在采集原始手部图像后，首先通过HSI色彩空间进行多通道阈值分割，得到二值图像；接着通过形态学操作，填充孔洞。
2.1 基于HSI颜色空间的阈值分割
首先将原始图像从RGB空间转换到HSI空间[15]。
HSI色彩空间中色度（H）表示不同的颜色，饱和度（S）表示颜色的深浅，亮度（I）表示颜色的明暗程度。本文利用手部和周围环境在HSI颜色空间上的差异进行识别。截取样本图像中的感兴趣区域（ROI），即图像中的手部部分，对其HSI分量进行统计，得到其分量直方图如图3.可见，手部图像在HSI颜色分量直方图上均可用一孤立波峰表示。
由上述三分量直方图可得出手部的HSI分量分布区域，进而提取规则，根据规则可将图像二值化。设H（m.n）， S（m，n）， I（m，n）分别代表像素（m，n）处的H、S、I分量值，bw（m，n）代表该点的二值化结果，则规则定义为：
2.2形态学操作
图像转换为二值图像后，手部图像可能会因为表面纹理粗糙造成图像中存在孔洞，因此要将变换后的二值图像进行孔洞填充处理。接着还要对图像进行闭运算，即以白色手部区域为前景，其余黑色部分为背景，先膨胀再腐蚀，将图像中的缺口连接起来，并填充比结构元素小的洞，平滑对象的轮廓。进行闭运算后，再进行一次孔洞填充，补完图像。
3 实验
编程语言采用Matlab2014a，在主频为2.50GHz、CPU为Intel Core i5、内存为8GB的Lenovo G480笔记本电脑上运行。我们设计如下2个实验任务。
将图 4（a）原始彩色图像转换为HSI色彩空间后，利用式（1）得到预分割的二值图像如图 4（b）所示，手部的大致边缘均包含在得到的二值图像内。缺陷在于，手部存在孔洞。
进一步，图 4（c）是对二值图像进行孔洞填充、闭运算、再次孔洞填充后得到的变换图。可见，经过形态学操作后，前景图像（手部）中的孔洞已较好的予以填充，能够完整地反映手部的形状。
4 结论
本文基于HSI颜色空间所提出的彩色阈值变换图像分割算法，同时引入形态学操作。实验发现该算法能较好的填充孔洞。算法具有较高的准确率，能够很好地将手部从背景中提取出来。
本文方法的缺点在于，在采集的样本图像中有部分提取后偏差较大，尤其是背景色彩较为复杂、光照过强或过弱的样本，由于此次样本有限，未能做进一步分析。另外，算法评价过于主观，需要进一步采用客观的量化评价方法。今后的工作将继续完善本算法，考虑引入神经网络与进化计算方法[16， 17]，以进一步提高该算法的健壮性，保证该算法在各种条件下都能适用。 参考文献：
[1] 张煜东， 颜俊， 王水花， 等. 非参数估计方法[J]. 武汉工程大学学报， 2010， 32（7）： 99-106.
[2] 张煜东， 霍元铠， 吴乐南， 等. 降维技术与方法综述[J]. 四川兵工学报， 2010， 31（10）： 1-7.
[3] 张煜东， 吴乐南， 王水花. 专家系统发展综述[J]. 计算机工程与应用， 2010， 46（19）： 43-47.
[4] BHUYAN M K， KUMAR D A， MACDORMAN K F， 等. A novel set of features for continuous hand gesture recognition[J]. Journal on Multimodal User Interfaces， 2014， 8（4）： 333-343.
[5] 覃文军， 杨金柱， 赵大哲. 基于形状特征检测的手势感兴趣区提取方法[J]. 机器人技术与应用， 2012（6）： 39-41.
[6] 魏来， 王迪， 邢程， 等. 基于kinect的手指定位[J]. 电脑知识与技术， 2014， 10（28）： 6713-6715.
[7] 柴功博， 顾宏斌， 吴东苏， 等. 基于手掌分割的摄像机阵列手部定位技术研究[J]. 仪器仪表学报， 2012， 33（11）： 2535-2545.
[8] DE STEFANO C， FONTANELLA F， MARROCCO C， 等. A GA-based feature selection approach with an application to handwritten character recognition[J]. Pattern Recognition Letters， 2014， 35（0）： 130-141.
[9] DOMINIO F， DONADEO M， ZANUTTIGH P. Combining multiple depth-based descriptors for hand gesture recognition[J]. Pattern Recognition Letters， 2014， 50（101-111.
（下转第191页）
（上接第188页）
[10] GUPTA P， GUPTA P. An efficient slap fingerprint segmentation and hand classification algorithm[J]. Neurocomputing， 2014， 142（464-477.
[11] JIANG F， WU S， YANG G， 等. Viewpoint-independent hand gesture recognition with Kinect[J]. Signal Image and Video Processing， 2014， 8（S163-S172.
[12] KANG W X， WU Q X. Pose-Invariant Hand Shape Recognition Based on Finger Geometry[J]. Ieee Transactions on Systems Man Cybernetics-Systems， 2014， 44（11）： 1510-1521.
[13] OHN-BAR E， TRIVEDI M M. Hand Gesture Recognition in Real Time for Automotive Interfaces： A Multimodal Vision-Based Approach and Evaluations[J]. Ieee Transactions on Intelligent Transportation Systems， 2014， 15（6）： 2368-2377.
[14] 郭一娜， 王清华， 艾杰特·亚伯拉罕. 基于柔性神经树和表面肌电信号的手势识别模型[J]. 计算机应用与软件， 2012， 29（4）： 170-173.
[15] 庞晓敏， 闵子建， 阚江明. 基于HSI和LAB颜色空间的彩色图像分割[J]. 广西大学学报：自然科学版， 2011，36（6）：976-980.
[16] 张煜东， 吴乐南， 吴含前. 工程优化问题中神经网络与进化算法的比较[J]. 计算机工程与应用， 2009（3）： 1-6.
[17] 张煜东， 吴乐南， 奚吉， 等. 进化计算研究现状（上） [J]. 电脑开发与应用， 2009， 22（12）： 1-5.