听障人士占我国人口总数的5%,手语对他们来说是交流情感不可或缺的一种语言。但未学习过手语的人无法理解手语的含义,限制了听障人士走出家门、与人交谈的机会,因此对动态中国手语词汇进行识别和理解有助于为听障人士搭建无障碍交流平台,对社会文明进步有着重要意义和应用价值。手语分为静态手语和动态手语,与静态手语相比,动态手语具有手部轨迹运动和手型变化的特点。本文利用Kinect传感器作为硬件采集平台对动态中国手语词汇的识别进行研究,借助Kinect获取彩色图像、深度图像以及骨骼点跟踪,设计了一种利用运动轨迹和手型变化相结合的手语识别方案。本文首先给出一种结合卡尔曼滤波与区域生长法的改进手部跟踪与分割算法,根据手部骨骼点坐标自适应地截取包含部分手和背景的区域,并统计该区域的深度直方图。选取直方图中靠近摄像头的点作为区域生长种子点,得到同时符合肤色区域和深度值的手部区域。对分割区域应用距离变换得到手心坐标,并将其作为卡尔曼滤波跟踪的测量值,对跟踪骨骼点坐标重新校正。当双手出现相互遮挡的情况时,利用多目标椭圆拟合假设区分双手的跟踪点,最终实现手部区域的准确跟踪与精准分割。然后对手部运动轨迹进行归一化处理,消除不同人群带来的手语比划差异。提取骨骼间向量作为轨迹特征,利用以DDTW为核函数的SVM识别轨迹。最后识别手型变化,使用深度运动图记录手型运动变化,给出了一种提取深度运动帧中关键手型的方法。采用帧差法计算帧间的运动能量,提取运动能量变化率高于平均变化率的帧作为关键帧,用以减少视频中无意义的过渡帧,最后提取HOG、LBP组合特征,对特征编码降维后送入极限学习机中分类识别。本文以上述算法为基础,使用Matlab进行仿真与实验,实验结果表明本文给出的动态中国手语识别方案能够对手语词汇进行有效识别。