论文部分内容阅读
我国听障人群约占世界1/5并逐年增加,中国手语是聋人和健听人交流的一种有效工具,如何实现大规模词汇量的中国手语手势动作识别仍然面临很多问题。作为一种规范的语言文字型手语,中国普乐手语采用音形码和部件码编码手势动作实现中国汉字的表达。其编码手势动作规模小且数量恒定,易于词汇量扩展,且文字型手语有助于聋哑人建立汉语思维,学习知识,从而融入社会。因此,本文以普乐手语编码手势动作为主要研究对象,分别从表面肌电电极和摄像头两种手势动作信号捕获方式入手,深入研究中国普乐手语手势动作识别的具体问题。1、表面肌电信号(surface electromyogram,sEMG)在表征精细手势动作方面具有天然优势,但由于个体解剖生理差异及执行方向等因素,同一手势动作产生的sEMG信号不尽相同。本文提出了一种基于典型相关分析的方向无关手势识别框架PICCA(position independent canonical correlation analysis),以预先定义的专家特征集为桥梁,将多个方向的训练特征与指定方向的测试特征映射成统一风格特征,挖掘相同手势动作sEMG信号在不同方向上的相似性。用户相关和用户无关两种实验方案的结果表明,采用CCA得到的手势动作识别结果相比于无CCA的结果分别提升28.52%和44.19%,充分说明PICCA方案能够提取相同手势动作在不同方向上sEMG信号的相似性,为减弱肌电控制系统中的用户依赖特性和方向依赖特性提供一种解决方案。同时,通过较少量的测试数据参与模型校准,实现方向无关手势动作肌电信号有效识别,在一定程度上降低了用户数据采集负担。2、由于摄像头成本低、用户无需佩戴传感器、设备普及度高等优点,基于视觉的手势识别技术引起了研究学者的广泛关注。本文也研究了基于摄像头的中国普乐手语手势识别。中国普乐手语编码手势动作共有13个基本手形,每个手形分别在三个不同方向上执行,分别代表三种不同的编码手势动作。本文提出了基于手指角度距离特征(angle distance of fingers,ADOF)和手掌角度距离特征(angle distance of hand,ADOH)用于表征同一手势动作的不同方向信息,之后通过动态时间规整算法(dynamic time warping,DTW)将ADOF和ADOH特征进行相似性距离映射,进一步增强特征的鲁棒性。实验表明本文提出的特征ADOF或ADOH,结合DTW映射有助于提取对指向敏感的信息,可以有效识别中国普乐手语编码手势动作;采用分类器工具包进行手势动作识别,对两类特征大部分分类器的结果可以达到95%和90%以上。该研究为大规模词汇量连续中国手语识别系统提供了一种解决方案,尤其对推广规范的中国手语具有重要意义。