手语是一种结构化语言,是残疾人之间交流的主要方式。由于正常人很少学习手语,导致聋哑人与正常人之间存在沟通障碍,给聋哑人的日常生活、学习带来诸多不便。手语识别技术将手语翻译成文本或者语音,能够在聋哑人与正常人之间建立沟通桥梁。手语作为一种语言,涉及的手势动作复杂多样,识别难度大。肌电(electromyography,EMG)能够直接反映肌肉的活动状态,能有效解决手语动作之间的运动插入问题,在手语识别方面具有独特优势。但是肌电信号对于相似动作的识别效果较差,而数据手套直接检测关节形变,能够识别区分度较小的动作。针对以上情况,本文提出利用形变传感器检测关节形变并和肌电信号融合进行手语识别。本文的主要工作概括如下:(1)本文搭建了一个肌电和手指关节形变信号同步采集系统,系统通过商用的无线肌电电极采集肌电信号,通过形变传感器采集手指关节形变信号。测试结果表明本文中使用的形变传感器具有响应速度快、重复性好的特点,能很好地检测关节形变信号。(2)以30个中国手语字母为目标动作集,通过6位受试的实验数据处理过程及结果,详细对比了两种信号对于30个手语字母动作的识别结果及性能,并分析了两种信号各自的优势和不足。(3)将上述两种信号进行融合,实验表明基于肌电和手指关节形变信号融合的手语识别方法对30个手语字母的识别准确率达到99%以上,且提取特征少、运算速度快,同时具有较好的用户无关性。本文提出的基于肌电和手指关节形变信号融合的手语识别方法能够识别相似度较高的手形动作,且运算速度快、准确率高、用户无关性好,能够推动手语识别技术的发展。肌电采集设备和形变传感器便于制作成便携式手语翻译设备,方便聋哑人随时随地使用。