论文部分内容阅读
传统的手势识别方法依靠人工设计复杂的特征提取算法进行图像的特征提取,该方法对手势图像的采集设备、背景及人的手势动作要求较高。基于卷积神经网络的图像特征提取可以直接将整张图像作为网络的输入,输入图像通过网络内部的卷积层提取深层次特征,提取的特征能够更全面地描述手势图像的信息。但是基于单一卷积神经网络的特征提取方法可能存在手势图像特征遗漏问题,只能提取手势图像的深层次特征,忽略了低层次特征(局部特征)在手势识别中的作用。为了解决以上问题,本文研究了基于双通道卷积神经网络的特征提取方法,然后提出了基于多特征融合的静态手势识别方法。完成的主要研究工作如下:(1)为了解决多肤色手势图像的分割问题,提出了一种综合多要素的手势图像分割方法。采用YCbCr颜色模型对手势图像进行初步分割。利用中值滤波和漫水填充对初分割后的手势图像进行去噪。利用基于最大连通域和质心位置的方法来排除背景中的类肤色区域及除手部区域以外的肤色区域,获得只包含手部区域的二值图像,用于后续手势图像的局部特征提取。(2)对于单一卷积神经网络提取手势图像特征信息不充分的问题,提出了基于双通道卷积神经网络的手势特征提取方法。在用于特征提取的VGG网络中添加了批量归一化(BN)层。为了减少网络模型的计算量,将手势的灰度图像作为双通道卷积神经网络的输入,采用优化VGG网络和AlexNet网络分别对输入的图像进行深层次特征提取。(3)针对人工提取特征的单一性及卷积神经网络提取特征的特征遗漏性问题,提出了一种基于多特征融合的静态手势识别方法。对分割后的图像进行局部特征提取,包括傅里叶描述子特征和Hu矩特征。利用双通道卷积神经网络对手势灰度图像进行深层次特征提取。最后将提取的局部特征和深层次特征进行串联融合,利用Softmax分类器输入的特征进行识别。