近年来,由于计算机运算速度的飞速发展,图像处理技术在许多领域得到了广泛应用,人脸分析已成为计算机视觉与模式识别领域的一个热门话题,越来越多的人脸检测及识别系统被用于实际生活中。本文通过对人脸检测以及跟踪识别算法的研究,设计了一个基于视频的实时人脸识别系统,该系统对视频图像中的人脸进行检测、跟踪与特征提取操作,最终根据采集到的人脸图像实现人脸识别。为了降低光照影响,增强图像对比度,论文采用了先对视频帧中图像进行直方图均衡化之后再进行检测的方法。检测时首先利用Haar分类器以及对应的Haarlike特征,创建正负训练样本训练分类器,进一步利用此分类器实现视频图像中的人脸检测。跟踪操作则在检测操作确定了人脸区域之后进行,论文在对光流法及主动形状模型等算法研究的基础上,将人脸跟踪过程中的人脸图像根据是否已完成识别分为两部分,并分别采取光流法和ASM两种不同算法进行跟踪。为保证跟踪的实时性和准确性,进一步对结果进行融合修正。在人脸识别部分,首先对于LDA线性判别分析算法的实现进行分析,在此基础上提出与图像大小以及旋转无关的SIFT特征匹配算法,之后针对该算法的计算复杂度较高、实时性较差的问题,提出了SURF算法。基于以上研究工作,完成了系统搭建,系统首先通过对人脸图像的采集和特征分析,并加入人脸预处理操作以提高算法识别率和准确率,最后分别利用LDA和SURF算法进行识别,并对识别结果进行分析。本文实现基于Intel公司开发的机器视觉库OpenCV,开发平台为Visual C++2010,通过大量实验验证了系统的实用性和有效性。