手语是聋哑人在平时与外界沟通的媒介,而掌握手语知识的健全人较少,因此给两者之间的交流造成不便。手语识别研究作为便利两者进行交流的一种人机交互平台,其通过计算机技术使得文本信息转换为手语手势。针对传统的分类方法提取的特征比较单一或者分类器结构过于简单,导致手语识别率较低的问题,本文将深度卷积神经网络架构作为分类器与多特征融合算法进行结合,通过使用纹理特征结合形状特征做到有效识别。为了避免过拟合现象,使用“dropout”方法训练深度卷积神经网络。相比一般的手语识别方法,此方法大幅提高了算法的鲁棒性和分类准确率,进而高效地完成手势识别任务。针对CNN无法处理连续的时间域和空间域相关的序列手语图像问题,本文提出一种融合CNN和RNN的动态连续手语识别算法。首先,利用静态手语识别的提取方法提取特征并进行多特征融合,然后将融合后的连续二维特征图像直接转化为一维向量,并作为门控循环单元(Gated Recurrent Unit,GRU)型RNN网络的输入,用CNN-GRU型网络进行识别,设计训练方法和配置实验数据,不断修改参数达到识别最优并进行对比。实验表明本文的方法在连续手语识别方面具有较高的识别率。