手势识别是人机交互的一个重要研究方向,在体感游戏、智能家居等场景有着广泛应用。日常交互手势识别存在手势形变、背景复杂等问题,伴随着手势识别广泛应用,人们对于手势识别的便捷性、准确性提出了更高要求。凭借视频采集便捷的优势,手势识别研究多基于视觉展开,静态手势和动态手势是手势识别的两个主要研究内容,静态手势识别针对单帧图片研究,动态手势识别针对多帧图片研究。本文在深度学习的框架下,基于真实场景分别对静态手势和动态手势进行分析,探索基于视觉的手势识别新方法。（1）基于注意力机制与特征融合的静态手势识别研究卷积神经网络在手势识别领域有着越来越多的应用。但现有卷积神经网络存在特征表征不足问题,影响手势识别精度。为此,提出一种基于注意力机制与特征融合的轻量级静态手势识别算法r-mobilenetv2。该算法首先将通道注意力和空间注意力串联起来,将二者输出特征图通过跳跃连接得到一种全新注意力机制,即自适应卷积注意力机制（Adaptive Convolution Attention Module,ACAM）。然后将高层特征经上采样与低层特征空间维度匹配,低层特征使用一维卷积调整通道维度与高层特征通道维度匹配,二者线性相加,其结果经卷积操作与高层特征按通道维度连接,实现提出的分类特征金字塔（Classification Feature Pyramid,CFP）。最后,将提出的ACAM和CFP结合,用于改进的Mobile Net V2中,得到r-mobilenetv2网络。将提出的ACAM加载到不同模型上,验证ACAM的适用性,对比加载不同注意力机制的实验结果,验证ACAM的有效性,然后进行消融实验,综合验证ACAM与CFP的有效性。实验显示r-mobilenetv2相较Mobile Net V2减少27%参数量,错误率降低1.82%。（2）基于多模态融合的动态手势识别研究针对复杂环境下动态手势识别精度低且鲁棒性不强问题,提出一种基于多模态融合的动态手势识别算法TF-MG（Two Flow Network Mobile Net V2 and Deep GRU）。TFMG结合深度信息和三维手部骨架信息,采用双流网络利用两种不同模型分别提取特征信息,然后将提取的特征融合送入分类网络,实现动态手势识别。针对含有深度信息的视频帧序列运用运动历史图像方法提取运动轨迹,进而使用Mobile Net V2提取特征。针对三维手部骨架信息时序序列,采用Deep GRU（Deep Gated Recurrent Unit）对三维手部骨架信息提取特征。实验结果表明,TF-MG在DHG14/28数据集上,取14类手势识别精度达到93.29%,取28类手势识别精度达到92.25%。与其他方法对比中,实现了更高的识别精度。（3）基于三维卷积神经网络的动态手势识别研究三维卷积神经网络参数量较二维卷积神经网络巨增,且训练时间长,为提高三维卷积神经网络效率,提出一种基于三维卷积神经网络的动态手势识别算法Action-3D。相较传统三维卷积,将三维卷积核在空间域和时间域上分解,分解的卷积核间加入Re LU激活函数,提升网络非线性表达能力。此外,借鉴Inception思想拓宽网络,结合三维卷积分解提出Inception-3D模块。Action-3D在自建数据集上精度达96.8%,通过与其他优秀网络对比,Action-3D在更少参数量的情况下,取得更高的识别精度。