近年来有关图像中的特征识别技术已经日趋成熟,并且被广泛应用于图像检索、图像识别、物体跟踪等领域;而视频中的特征识别研究则刚刚起步,有关视频检索、视频解析、动作识别等应用还存在着很多技术难点。本文以局部特征点的思想研究视频,提出一种全新的高性能视频特征识别算法。首先,回顾了局部特征点检测算法的发展历史:涵盖了从早期的Harris角点检测一直到近年来流行的SIFT等内容,并以stip算法为例介绍近年来该类方法在视频领域内的应用。随后,分析了stip算法的优缺点,归纳出局部特征点方法的一般模式。在stip和SIFT的基础上,提出把SIFT思想加以扩展来研究视频的思想,并且通过实践,逐步建立起Spatio-temporal SIFT特征点检测算法。进而从理论分析了该算法相对于stip等其他同类算法的优缺点,并且通过实验进行了验证。最后,通过研究几种流行的特征点描述算法,选取合适的方法用来描述所提出的Spatio-temporal SIFT。在此基础上,以视频中的动作识别为例初步验证了Spatio-temporal SIFT特征点检测算法的效果。本文提出的Spatio-temporal SIFT算法是一种比较基础的视频特征检测与描述算法,它不仅可以用来做动作检测和识别,同样也可以应用于视频语义解析,视频分类等多个领域,具有广泛的应用价值。