基于视觉信息的手势识别目前是一个活跃的研究课题。手势识别技术已经在很多领域得到了应用,包括虚拟现实、增强现实、手语识别、机器人控制、智能家居、游戏娱乐、医疗辅助系统等,随着智能化的不断推进,有着巨大的潜在应用前景。手势是一种较短时间的身体运动,包含表观信息和运动信息。复杂的背景、不同的光照条件、个体间执行手势的差异等都会影响手势的识别。基于视频的手势识别可能更会因视频的质量较差、手势相对区域较小的影响而增加识别难度。本文是对SKIGRGB-D多模态的孤立手势视频进行手势识别研究。首先将RGB和Depth两种单模态视频提取成图片的形式保存,然后采样成长度为32帧的手势序列分别输入到本文提出的稠密连接的3DCNN组件学习短期的时空域特征,然后将提取的时空域特征输入到卷积GRU网络进行长期的时空域特征学习,最终对单模态训练好的网络进行多模态融合,提升网络识别准确率。本文在SKIG数据集上取得了99.07%的识别准确率,达到了极高的准确率,证明了本文提出的网络模型的有效性。