手语识别是计算机视觉领域的一个重要的研究方向,是融合了图像处理、模式识别及机器翻译等多学科的研究课题。手语识别的社会现实意义使得越来越多的研究者致力于开发出有效的手语识别系统,帮助听力障碍人群更好的融入社会,享受社会公共资源,体验科技化给人们生活带来的诸多便利。目前手语识别研究者借助传统机器学习方法进行课题的相关研究,在小规模的手语数据库中取得了不错的学术研究效果,但是实际应用对手语识别系统的效率和识别词汇规模的要求更高,使得传统机器学习模型的弊端显露。随着深度学习的强势兴起,神经网络的结构型建模方式给各个研究领域带来了跨越式的进展,也为手语识别提供了新的研究思路。因此,本文设计了基于深度学习网络的手语识别算法模型,主要研究内容如下:首先,阐述了手语识别的研究意义及现状,对目前手语识别的一些研究成果及研究进展进行了总结分析。并总结了手语识别研究目前仍没有解决的问题,探究更加适合手语识别研究任务的模型。然后,详细介绍了基于传统机器学习算法的手语识别研究,总结了主流手语识别策略涉及的特征算法和分类器的原理及优点。结合手语识别应用实例分析了主流方法的不足及存在的问题,深入分析存在局限性的内在原因。进而,针对静态手语手势词识别任务的特征设计问题,本文搭建了基于深度残差神经网络结合数据增强技术的端到端的手语识别系统,并对比了基于SIFT-SVM的传统机器学习策略和浅层卷积神经网络模型,在ASL数据集上进行了识别性能的对比,验证了本文方法的强鲁棒性和高准确性。最后,针对基于视频的手语孤立词的识别研究中的序列建模问题,提出一种引入联结主义时序分类器的基于长短时记忆网络的手语识别模型。该模型通过卷积神经网络作为特征提取器,保留中层特征作为手语视频样本的特征,搭建基于BiLSTM-CTC的分类器模型对手语孤立词进行分类识别。并通过实验,证明该方法的有效性。