人体运动分析是机器视觉领域的重要课题之一,在人机交互、安防监控等领域有广阔的应用前景,备受研究人员的关注。本文针对人体运动分析中的手势识别与行为识别进行研究。基于手势与行为的视觉信息,研究了手势轮廓形状描述方法、RGB视频中的运动特征提取方法、深度视频不同维度信息提取方法,提高手势与行为识别的准确率。首先,本文提出了一种实时手势识别方法。该方法使用多尺度手势形状描述对手势形状进行表示,获取手势形状的局部和半全局特征。考虑到手指对手势表示的重要性,描述中手指的特征被增强。得到的手势表示分别与动态时间规整、支持向量机和反向传播神经网络三种机制结合进行手势识别。实验结果表明提出的方法对噪声、铰接变形和刚性变换具有鲁棒性。与现有其它方法相比,所提方法正确率较高且更高效。接着,针对RGB视频与深度视频的不同特性,本文分别研究基于这两种类型的视频的行为识别。对于RGB视频,为了提取不包含静态信息的运动特征用以行为识别,本文提出了一种基于特征袋方法的运动特征量化网络,该网络被用来学习有区分度的运动特征。尽管视频中的背景是移动的,在学得的特征图中,物体和背景信息仍然被有效滤除,表明该运动特征与静态图像特征以及动态图像和光流中的静态信息互补。基于运动特征和其它特征,本文建立了一个多流分类器,与其它现有方法相比,识别性能得到了增强。针对深度视频包含丰富的三维信息这一特性,本文提出了一种基于投影序列动态图像的行为识别方法。深度视频被投影到不同的平面以获取行为在不同维度的信息。为了得到行为的时间演变信息,计算了不同投影序列的动态图像用来表示对应行为。实验证明了不同投影序列之间包含的信息具有互补性,将它们结合有助于提高行为识别性能。