本文的主要工作是对于现实视频中人体的动作进行识别，例如电影里面，视频监控录像以及一些标准的数据库用来作为训练和测试使用。行为识别具有非常重要的现实意义，在人际交互，视频监控，运动员动作分析等方面有着非常广泛的应用。本文采用时空特征点描述的方法，其主要思路是通过使用检测符检测视频中的兴趣点，在兴趣点的周围进行视频块的区域划分研究，定义一种描述的方法，最终形成对行为的特征向量表示。通过实验证明时空特征点的方法在行为识别尤其是背景复杂混乱的环境中的行为有着很好的识别率。本文的主要工作如下：1.将改进的基于surf局部时空特征描述符应用到cuboids检测符上。从目标识别中的稀疏特征方法扩展到三维空间的视频序列来进行处理，采用空间域的高斯滤波器以及时间域的Gabor滤波器进行兴趣点的检测，采用surf利用图像积分减少运算量的方法来提高了运算速度。2.提出了一种融合HOG3D的时空描述符方法与Harris角点检测的方法。从HOG特征应用在静态图像上扩展到视频领域，采用HOG3D的描述符方法对时空特征点进行描述，特征点的检测主要采用的是Harris3D的检测方法。在KTH，Weizman等数据库上进行了实验证明了良好的实验结果3.结合光流的基于运动外表形状以及运动信息相融合的运动轨迹特征描述方法。采用HOG特征和HOF特征相融合的方法作为行为表征的特征向量，其中HOG描述符代表了其外表信息，HOF代表了运动信息，轨迹代表了运动丰富的历史信息。实验证明HOG和HOF的结合更加有利于行为的识别。