中国手指语作为中国手语中的重要组成部分,在手语识别中也占据着极为重要的位置。手指语在听力和语言表达障碍人群中的使用,使他们与正常人之间的相互交流和人机交互更加便捷?传统的手指语识别对环境背景要求较高,为了解决复杂环境下中国手指语的识别,本文采集了静态手指语构建数据集,并对数据集进行一定的扩展,提出改进的基于区域的全卷积网络(R-FCN)解决复杂背景下的手指语识别任务。为适应多变的复杂场景,本文利用在线难例挖掘技术对手指语识别过程中产生的难例进行在线学习,结合手指语特征对网络进行优化。并与SVM分类和Faster R-CNN神经网络作对比。实验结果表明,改进的R-FCN在复杂环境的手语识别任务上能达到较好的识别效果。在动态手语方面,本文构建了孤立词动态手语数据集,利用R-FCN-CNN-LSTM的方法解决动态手语识别任务。为改进卷积神经网络(CNN)对图像特征关系,本文利用胶囊网络(Caps Net)替换CNN网络,并在静态手指语数据集上进行验证。实验结果表明,Caps Net优于CNN网络,经过网络替换,利用R-FCN-Cpas Net-LSTM对动态手语进行识别,并与R-FCN-CNN-LSTM,CNN-LSTM进行对比。实验结果表明R-FCN-Cpas Net-LSTM略优于其他网络。为改进R-FCN网络对动态手语视频的处理速度,本文提出对视频提取关键帧,并利用手部关键帧刻画手部运动轨迹,并将手语图像与运动轨迹进行特征融合,利用双特征融合对动态手语视频进行识别,减少了网络的计算量并提升了网络对动态手语的识别准确率。