表情识别是指将不同的情感状态进行分类。论文针对表情识别所涉及的关键问题进行了研究。首先提出了一种新颖、鲁棒、实时人脸检测与跟踪算法。该方法采用背景差分法，提取运动区域。对运动区域利用肤色归一化rgb和HSV色彩模型的聚类性，得到人脸候选区域。利用人脸几何信息和孔洞信息，对人脸候选区域进行验证。基于肤色矩特性，对人脸区域进行跟踪与预测。通过对不同背景条件下的人脸检测与跟踪，实验结果表明：所提算法不仅检测率高，且对光照、人脸姿态的变化具有较强的鲁棒性。基于480×360图像处理速度平均为25帧/秒，可满足系统实时性要求。 准确的眼睛定位可以使人脸图像归一化到同一尺寸。提出了一种鲁棒、准确的眼睛定位算法。首先利用肤色的聚类性对人脸进行二值化，然后采用主分量分析计算人脸倾斜角度，将人脸旋转到正面。根据边缘信息粗定位眼睛位置，然后结合灰度信息去除张口时显露牙齿的影响。实验表明：所提方法定位准确，对于光照、姿态变化具有较强的鲁棒性。 表情识别与分类的关键是如何有效提取表情特征。论文采用5个尺度、8个方向的Gabor小波提取表情图像的频域特征。针对Gabor小波特征冗余大、维数高的问题，引入Adaboost算法进行特征选择，挑选出对于分类作用较大的特征点，构成特征向量，采用支持向量机分类器进行表情分类。经过．Adaboost特征选择，大大降低了特征维数，节约了内存和时间消耗，同时提高了分类效果，且利用了支持向量机在处理小样本、高维数的优势。 在综合运用上述方法的基础上，构建了一个实时、视频面部表情识别软件系统。