论文部分内容阅读
随着计算机技术的不断提升，人机交互方式逐步被更新。具有能听，能看，能说，能感觉等多模式的，自然的，以人为中心的新颖人机交互是未来人机交互的发展方向。手语成为新颖人机交互的最重要通道之一。手语是一种视觉语言，是聋哑人表达思想、进行日常交际最主要的方式。它是通过手的形状、指式、朝向、动作和位置信息，配合面部表情，按照一定的语法规则来传递特定含义信息的。手语手势识别是通过计算机获取手势动作信息，采用模式识别算法，将手语手势的含义翻译成语音或文本信息，使健全人“听的懂手语或看的懂手语”，帮助聋哑人与健全人之间的交流，促进自然、顺畅的人机交互方式的发展。
根据输入设备不同，手语手势识别研究主要分为基于机器视觉(machine-vision)的识别和基于佩戴式输入设备(body-instrumentation)的识别。单一传感器只能获取到手势动作的部分信息，擅长于对手势动作的特定侧面信息进行提取，而协同运用多个传感器则可以将不同类型传感器进行优势互补，实现在较短的时间内，以较小的代价采集到尽可能多而全面的手势动作信息。本文针对表面肌电电极(SurfaceElectromyography，SEMG)，加速计(Accelerometer，ACC)和摄像头（Camera）三种低成本传感器所检测到的手势动作信息，提出一种有效的融合多传感器信息（表面肌电传感器，加速计与普通摄像头）的手语手势识别方法，达到同时提高多传感器手语手势识别的识别率和识别效率的效果。
具体研究工作及研究成果主要有以下几点：
(1)提出基于Ycbcr颜色空间的自适应肤色分割方法。将亮度信息Y分为三个区间(Y＜125，Y∈[125，188]，Y＞188)，对对应区间内的色度值cr、cb分别进行不同的色度变换，完成手势图片光线预处理操作，实现自适应肤色提取算法。实验结果表明，该肤色分割方法不仅具有较强的适应性，且能快速、精确的检测出手部肤色区域。
(2)针对视觉手语手势识别效率低等问题，将关键帧提取思想引入到动态手势帧选取算法中，采用固定采样率对手势图片进行采样，剔除大量冗余手势图片，这在很大程度上缩短了手势图片预处理与模式训练所消耗的时间。其次，提取基于二值化信息的空间不变矩(HuMoments)、面积(Aera)和质心(Centroid)三种简单的手势图像特征作为视觉手势特征。这种方法使视觉手语手势识别率和识别效率同时得到了提高，对包含视觉信息的多传感器手语手势识别产生了积极的研究意义。
(3)基于多传感器信息检测与融合，提出了一种基于gλ模糊测度的(N)模糊积分决策融合方法。该方法将所有样本在校验集上的分类正确率作为gλ测度密度的初始值，再通过公式获得gλ模糊测度，在测度确定后，利用(N)模糊积分完成三类信息匹配结果的决策级融合。该方法可有效融合三类传感器捕获的互补手势动作信息，具有更好的用户鲁棒性和实时性。针对201个高频手语词展开的单用户和多用户手势识别实验中取得了很好的分类准确率（单用户：99％以上，多用户98%左右）。