论文部分内容阅读
随着基于三维视觉的人机交互技术已成为计算机视觉和人工智能等热门研究领域的重要技术,手势作为一种日常、自然、简便的交互手段,其识别技术具有重要的研究意义和广泛的应用前景。本课题主要研究基于深度相机的三维手势识别系统,实现复杂背景下的静态手势识别和动态手势识别,该系统主要包括基于深度相机的手势分割和跟踪、手势特征提取、及手势识别部分。 本文的主要研究工作包括以下几方面: 1.提出一种改进型的OpenNI骨骼跟踪与感兴趣区域(ROI)阈值界定法相结合的手势分割算法。该算法能快速、准确的提取出复杂背景及环境多变条件下的手势区域,有效的避免复杂背景和不同光照等因素干扰,具有较高的鲁棒性。实验结果表明,与基于灰度直方图的分割方法相比,该算法可以更准确、快速的实现手势分割。 2.提出一种改进型的速度矢量预测与三维空间中的卡尔曼(Kalman)滤波器相结合的手势跟踪算法。该算法有效解决了骨骼跟踪获取信息时产生的延迟对手势跟踪效果影响较大的问题,有效提高了手势跟踪的准确率。实验结果表明,与原有的骨骼跟踪算法相比,改进后的算法有效的提高了跟踪的准确率和稳定性,具有较好的跟踪效果。 3.在特征提取部分,针对不同识别对象,本文提取手势轮廓、凸包及 Hu不变矩等表观特征,通过特征点检测与手势的模板匹配,完成实时静态手势识别,并利用识别结果辅助实现动态手势识别过程。针对动态手势,本文提出一种改进型72方向的Freeman链码对三维空间中的手势轨迹进行离散化。实验结果表明,改进后的链码特征优于传统Freeman链码,它能多方位、更立体的表示动态手势。 4.在动态手势识别部分,采用隐马尔科夫模型(HMM),创建动态手势的隐马尔科夫过程,对手势样本进行实时识别,其识别结果均在92%以上。 最后,在Microsoft Visual Studio2008编程环境下利用基于深度相机的三维手势识别系统中的主要技术实现PC机上鼠标、PPT的简单操作,实验证明该系统能很好的应用于人机交互平台中,实现了手势交互技术的应用。