对人脸图像的研究作为计算机视觉领域的重要课题之一，越来越受到重视。人脸图像处理涉及到计算机图形学、计算机视觉、模式识别、机器学习、感知科学、人工智能、计算智能等多种技术。当前对人脸图像的研究主要集中在人脸检测、人脸跟踪、人脸识别、表情识别、姿态分析以及人脸合成等领域，而这一系列的研究都是建立在人脸检测和跟踪的成果基础之上。目前，对人脸图像的研究和跟踪已经广泛应用于视频监控、人机交互等领域。本文主要对视频中人脸图像的检测和跟踪进行了研究。本文首先研究了静态图像下人脸检测的问题，包括当前最流行的基于Adaboost算法的级联检测算法。介绍了Haar特征的构成，积分图策略、弱分类器的选择以及如何训练级联分类器。研究发现，Adaboost算法的训练过程极其耗时，且最终构建的级联分类器虽然能以较快的速度检测图像，但是其检测率也有相应的降低。本文提出一种新的BitBP特征描述算子，该算子可以准确的描述图像局部信息的灰度变化情况。实验证明，BitBP特征的分类能力要比Haar特征和MB-LBP特征强。采用BitBP特征作为弱分类器，利用RealAdaboost算法训练得到级联分类器，可以大大降低检测器的训练时间，仅为Haar特征训练时间的30.81%，用较少的特征数目达到同Haar特征相同的检测效果。根据BitBP特征的特性，本文提出一种新的多重级联的方式，可以在有效的简化分类器的训练过程的同时，保证分类器的检测效果。在MCU+MIT测试集上，误检窗口数相同时，本文算法检测率要高于Haar特征分类器的检测率。其次，本文主要研究和改进了当前流行的Tracking-Learning-Detection（TLD），该算法将跟踪问题分为三个彼此独立又相互关联的模块，可以有效的克服遮挡、目标消失以及重新定位等问题。本文结合Mean Shift跟踪算法和TLD框架，构建了新的跟踪系统，克服了原始TLD算法不能对对快速多姿态变化的目标进行跟踪的弱点。最后，本文针对人脸检测和跟踪问题，将基于Mean Shift的TLD框架与人脸检测器结合起来，搭建了针对人脸图像的检测跟踪框架。仿真实验结果说明，在跟踪实验室多姿态目标人脸时，本算法的准确率比TLD算法提高了4.5%，检测率提高了9.8%。