基于视频流的人脸检测与跟踪是计算机视觉与模式识别领域的一个重要的研究课题,也是人脸信息处理领域的一项关键技术,已经成为研究者广泛关注的热点问题。自动人脸检测与跟踪技术在智能安全监控、人机交互视频会议、自动人脸识别、身份识别、虚拟现实等领域都有着广泛的应用前景和商业价值。尽管人脸检测与跟踪技术在可控条件下已经取得了很大的发展,并获得了可供实用的效果,但是,由于人脸结构自身模式的多变性、数字图像采集过程中的各种噪声干扰、各种实际环境的限制以及理论研究的不够成熟,仍然面临着巨大的挑战,比如,面部表情、人脸姿势、复杂背景、遮挡、观察视角以及光照条件变化等。本文针对这些应用条件的限制,主要研究了人脸检测技术、人脸跟踪技术,全面分析了国内外人脸检测技术以及人脸跟踪技术的发展,并对主要的实现算法进行了详细的研究和深入的分析。主要内容包括:1、针对AdaBoost算法基本知识做概要介绍,并以类Haar特征为基础,对弱分类器、强分类器以及级联分类器的构建过程进行了详细的阐述;研究并实现了AdaBoost算法的训练以及检测过程;最后,提出并实现对AdaBoost算法的改进方法,具体内容如下:(1)优化多尺度检测问题,同时采取了基于边缘特征的算法加速策略,降低了算法的计算复杂度,加快了检测的速度,使算法的性能大大提升。(2)选取不同的样本集,分别训练正面分类器和侧面分类器,并将他们串联形成一个多级结构的分类器,解决了多姿态条件下的人脸检测问题。大量的实验数据以及分类结果证明:改进后的AdaBoost人脸检测算法鲁棒性更好,适用范围更广,与传统AdaBoost人脸检测算法相比,其检测率得到了显著的提高。2、使用径向模板对旋转角度进行估计,成功地解决了平面内旋转模式下的人脸检测问题;利用多分类器级联结构有效地处理了平面外旋转模式下的人脸检测问题;另外,还针对人脸检测算法的扩展性进行探讨,使其能够由单一的人脸检测领域逐步扩展到更为广泛的目标检测应用领域中。3、深入研究了Mean Shift理论,以及其在目标跟踪方向的应用。由于Mean Shift难以克服跟踪目标对象形状大小变化的情况,因此本文接着研究了以Mean Shift为核心的CamShift算法,它是在Mean Shift算法基础之上实现的改进算法,能够很好地适应跟踪目标对象大小以及形状的变化。由于CamShift跟踪算法以颜色概率分布为基本,因此具有不受跟踪目标对象的大小、形状以及外界光照变化等环境因素影响的优点。但是CamShift算法也存在一些不足之处,例如,初始化跟踪窗口需要手动选取;当目标的色彩概率分布非常接近时,会出现跟踪目标丢失的情况等。针对这些不足,对CamShift算法做如下具体的改进:(1)利用AdaBoost人脸检测算法的检测过程来实现跟踪过程人脸的自动初始化;(2)为了兼顾了跟踪的速度与效果,采用跟踪与检测相互交替的方法;(3)提出了基于双眼模板匹配的CamShift人脸跟踪算法,以颜色概率分布图中的模板匹配成功与否作为算法迭代的终止条件,解决了场景中存在大面积类肤色干扰时跟踪失误的问题。为了在减少跟踪失误的同时最大限度的保证算法的实时性,模板匹配过程中对模板采取了简单的比例缩放和角度旋转并使匹配只在搜索窗上半部分进行。实验数据和结果表明,改进后的CamShift算法跟踪效果明显优于传统的CamShift算法,同时也保证了良好的实时性。4、根据上述理论及技术,在Visual C++ 6.0软件平台上开发并实现了一个自动化人脸检测与跟踪系统。该系统能够实时采集图像,并对视频流中的人脸进行检测及实时跟踪。