论文部分内容阅读
随着计算机图形学和虚拟现实技术的不断发展,对于人机交互的要求越来越高,其中作为人机交互主流方式的是手势识别。传统的手势识别都是基于相机照片和2D手势进行识别与分类,其提取的特征通常难以准确表示不同手势之间的区别。针对静态手势识别的高自由度、特征表示不准确等问题,动态手势的复杂时序、空间可变性、特征表示不准确等问题,将机器学习中特征提取、特征融合、特征降维、支持向量机等方法应用到手势识别中成为近几年的研究热点。如何有效地从手势数据信息中提取完整的手势特征并进行有效识别与分类是一个难点,而基于手势几何特性并融合多特征的手势识别方法是解决这一难题的有力工具之一。本文的主要工作以及取得的研究成果如下:1)为了克服静态手势数据集中不同手势具有的高自由度、特征表示不准确等问题,本文提出了一种融合关节旋转特征和指尖距离特征的手势识别方法。首先从手势深度图中利用手部模板,将手部看成链段结构,提取手部20个关节点的3D位置信息;然后利用手部关节点位置信息提取四元数关节旋转特征和指尖距离特征;最后利用一对一支持向量机对手势进行有效识别分类。实验表明,该特征表示能够很好地表征不同手势,在静态手势的识别中,利用该特征表示能够达到较高的分类识别准确率。2)为了解决动态手势数据集中复杂时序、空间可变性、特征表示不准确等问题,本文提出了一种融合动态手势全局运动和手掌内局部运动特征的动态手势识别方法,并提出了一种新的动态手势识别框架。首先在给定手部关节坐标的情况下,通过去除手势无效帧、补全关键帧、关节长度归一化等方法,进行动态手势数据预处理;然后根据动态手势中手的平移和旋转特征,并融合手掌内手指的平移和旋转特征,利用手势距离函数分段提取特征变化显著的手势帧作为关键帧;针对手势关键帧,再利用手部主方向向量之间的距离变化和手部中心点的位移变化特征来刻画手在空间中的全局运动,并利用关节旋转四元数中角度的变化和指尖的相对距离改变来表示手掌内手指的局部运动;基于融合手势全局运动和手掌内局部运动的关键帧手势特征,采用线性判别分析降维,并利用带高斯核的支持向量机最终实现动态手势识别与分类。实验表明,该方法能够有效提取动态手势中的关键帧,利用关键帧替代全部的动态手势帧,避免了数据冗余。基于手势特性,本文有效结合了手势的几何特点和时间空间连续性,实现了有效地手势识别。本文在阐述国内外手势识别研究现状的基础上,提出了具体的理论模型和相应的手势识别算法,并给出了算法的实验效果以及与其他现有方法的对比说明。