手语是‘种结构化的语言,是聋哑人之间进行日常交流的主要方式。但由于正常人对手语的语言属性并不熟悉,导致聋哑人与正常人之间的交流存在一定的障碍。手语识别技术可以利用计算机将手语动作表达的信息翻译成文本或语音,是一种非常自然、友好的人机交互方式,在日常交流、康复医疗、虚拟游戏等领域都取得了成功的应用。近几年,面向大词汇量的手语翻译系统的研制引起越来越多的研究者的关注,并且取得了一定的研究成果。然而,目前可识别手势词的数量仍然相对有限,无法满足正常人与聋哑人日常交流的基本需要。同时,很多相关的研究工作中仅涉及用户相关的分类,对于用户无关分类的探索较为初步并且识别率相对较低。因此,较大的可识别手势词规模以及较好的用户无关性是真实手语翻译系统研制中迫切需要解决的关键问题。本文通过评估表面肌电、加速计和陀螺仪三种传感器及它们的不同组合形式在单双手、手势朝向和手势幅度三种典型手势要素分类中的最佳识别表现,提出了一种优化的决策树分类结构并成功应用到150个常用中国手语手势词的模式分类中。本文的研究工作是本实验自制的便携可穿戴数据采集腕带在较大词汇量用户无关手势识别研究中的首次尝试,为面向大词汇量的手语翻译器的研制奠定了基础。本文的主要工作概括如下：(1)手势要素特征提取和分类识别研究。利用实验室自制的集成表面肌电、加速计和陀螺仪于一体的数据采集系统采集150个常用中国手语手势动作数据,探索了表面肌电、加速计和陀螺仪信号的多种特征及不同特征组合对单双手、手势朝向和手势幅度三种典型手势要素的分类能力。(2)基于多级决策树分类方案的手势词识别研究。首先,基于各级要素分类器的最佳特征组合,提出了优化的四级决策树分类结构并成功应用到150个常用中国手语手势词的识别中,在用户相关和用户无关的分类中分别取得了94.31%和87.02%的平均识别率。然后,通过与仅由多流隐马尔可夫模型构成的分类方法的对比,验证了本文提出的优化决策树分类结构不仅可以有效的提高识别精度,同时可以显著降低测试过程的时间消耗。最后,验证了多传感器组合尤其是增加陀螺仪对于提高较大词汇量手语动作识别准确率的重要性。(3)决策级特征优选和传感器信息融合研究。利用遗传算法评估了10种常见的表面肌电特征和10种常见的运动传感器特征的不同组合形式在150种常见中国手语手势词识别中的应用效果。另外,探索了加权平均、模糊积分和D-S证据理论三种不同的决策级融合方案融合表面肌电流和运动传感器流信息的能力,发现加权平均融合方法在本文中可取得最佳识别结果。