随着各种形式的计算设备渗入人们生活,手势识别作为最自然的人机交互模式,应用在了不少拥有专业传感设备的场景下。然而近几年随着视频应用的发展,人们希望动态手势识别也能应用于普通的设备之上。但基于由普通设备采集到的RGB视频流的手势识别,通常面临着视频流未剪辑、背景杂乱、手部信息丢失等问题。并且对于实际场景下的动态手势识别,不仅有着实时性及计算资源的限制,还面临着一段手势应该仅被识别一次的单次激活问题。因此,如何兼顾实际场景下动态手势识别的准确性及实时性,成为了将手势识别应用于实际场景的主要挑战。为了提升RGB模态下三维卷积网络对于动态手势的识别效果,本文提出了一种基于类光流特征提取网络（TVNet）的端到端多模态协作训练架构（TVNet-based Multimodal Training,TVMT）。通过将传统的TV-L1算法迭代过程展开为TVNet网络层,来提取相邻RGB图像帧之间的类光流特征,作为多模态协作训练中的辅助模态。通过时空语义对齐损失函数（SSA）来鼓励不同的模态网络对相同的输入场景学习相同的理解,同时通过焦点正则化参数（FRP）来防止知识的负向迁移。TVMT训练架构使得RGB模态网络能够利用类光流模态网络学到的手势时空特征,来提升识别的准确率。此外,为了解决实际情景下动态手势识别的鲁棒性及效率问题,本文提出了一种基于动态阈值的滑动窗口双网络在线识别架构（Sliding Window based Online Recognition System with Dynamic Threshold,DtSWORS）。使用滑动窗口来处理未剪辑的视频流,并通过唤醒机制,使得离线工作的3DCNN网络也能在线运行。通过后验处理模块来对检测结果进行缓存并过滤,从而进行差错处理。对于手势的单次激活挑战,本文提出使用强化学习网络来对单次激活模块的决策阈值进行学习,从而能针对不同的输入视频特征进行动态的调整。