论文部分内容阅读
基于视觉的手语识别技术是目前研究的一个热点,传统的手势识别技术需要佩戴数据手套,同时对数据采集的背景要求也很高,因此不能广泛使用。Kinect的问世,有效的弥补了这一缺陷,它可以通过RGB摄像头以及景深摄像头在复杂背景下有效的采集平面图像及其深度数据。本文利用Kinect的这一特性,分别对静态和动态的手语手势进行了特征提取的研究。本文在基于Kinect深度信息的静态手势特征提取方面做了以下工作:首先,通过Kinect获取深度图像,将人体骨架映射到深度图像中,利用骨架追踪系统定位到手部关节点,从而实现对手部的实时追踪;其次,在定位到手部位置以后,提取一个手部概率最大的区域,作为感兴趣区域;然后,对提取的感兴趣区域进行滤波、形态学操作等预处理;最后对预处理后的手部图像分别进行了HU矩特征、FAST特征(Features from Accelerated Segment Test)、SIFT特征(Scale-invariant feature transform,SIFT)、SURF(Speed Up Robust Features)特征等特征提取的操作。实验结果表明HU矩的7个特征具有旋转缩放尺度不变性;FAST特征算法检测速度快,但是检测到的特征点不具有方向信息;SIFT算法能够提取128维向量描述子,特征提取的准确率较高,但执行时间过长;SURF算法提取特征准确并且计算速度较快,因此,本文最终选用SURF算法进行静态手势特征提取。本文在基于Kinect深度信息的动态手势特征提取方面作了以下工作,首先通过Kinect摄像机坐标系得到了手势运动轨迹的坐标点,并确定了起止位置坐标;然后,通过三次样条插值算法对得到的轨迹点坐标进行轨迹拟合,得到手势运动轨迹的平滑曲线;最后,对手语手势运动轨迹位置做了归一化处理,确定了手语手势轨迹的角度和位置特征。