我国有庞大的听障人士群体,手语是他们与外界沟通交流的主要渠道。如何从手语手势动作中识别听障人士想表达的内容,是减少听障人士和健全人之间沟通障碍的关键。目前的手语手势识别方法有一些局限。如,只用单一模态的信号采集手语手势,无法获取手势动作中的全部信息;只关注手语手势动作所代表的语义信息,而忽略了听障人士手语动作中反映的情绪状态;由于手语使用对象和语境的变化,导致缺乏跨域的泛化性,在新数据集中模型识别效果下降。针对这些问题,本文提出了基于注意力机制的手语手势识别模型和基于域对抗的情绪识别模型。为了解决手语手势多模态信号融合的问题,我们提出了基于注意力机制的手语手势识别模型。用特征编码器分别编码表面肌电流（Surface Electromyography,s EMG）和惯性传感器（Inertial Measurement Unit,IMU）两种模态信号中的手势信息,并使用自注意力机制分别计算权重,融合两种编码特征。同时,我们还采用了参数迁移学习方法,将在源域完成训练的模型参数迁移至目标域,用少量目标域数据微调即可达到大量数据训练的效果,减少了模型训练成本。为了实现手语情绪跨语义识别,我们提出了基于域对抗的情绪识别模型。该模型由特征提取器、域分类器和情绪分类器组成。特征提取器和域分类器组成对抗训练部分,在对抗训练过程中,特征提取器将逐渐提取既有情绪分类能力,又有域不变性的潜在特征。依靠域不变特征,就可以在只使用源域数据的条件下实现情绪跨语义识别。最后,本文通过带有传感器的可穿戴设备采集手语手势数据,从多个角度验证了本文提出方法的有效性。