随着计算机处理技术的不断完善及人脸识别研究的进展，利用计算机进行人脸面部表情识别已经成为可能，并且这一领域的研究工作正日益被科研人员重视。表情作为人内在心理活动的一种外在表现形式，人脸表情特征的提取方法按其所使用图像类型不同分为两大类，一类是基于静态图像提取人脸表情特征，另一类是基于动态序列图像提取人脸表情特征。基于静态图像提取特征具有简单直观、快速等优点，在进行特定人表情识别时可以取得很好的识别结果，但静态图像特征所包含的表情信息量有限，而且容易受到不同人脸形状、肤色、光照条件等因素的影响，在进行非特定人表情识别时，效果较差。由于表情的产生和消失都有过程，因此通过序列图像提取动态特征可以更有效地反映人脸表情过程的本质，易于消除各种干扰因素的影响，在进行非特定人表情识别时也能够得到更好的结果，并且动态序列表情图像包含更多的信息，所以动态序列表情图像的应用更为广泛，也更有实际意义，本课题是针对动态序列图像的表情识别研究。本文主要进行了以下几个方面的研究：第一，首先对序列图像中的人脸进行实时采集和定位，首先研究了基于肤色的人脸检测算法，然后探讨了基于Adaboost算法的人脸检测算法，针对Adaboost算法对于人脸的误检测问题，结合了极端学习机算法，大幅提高了检测率，降低了误检率。第二，主要研究讨论在动态序列图像中人脸表情特征提取的问题，首先介绍了主动外观模型算法对于人脸表情特征点的定位和跟踪算法，提取了特征点运动的几何特征信息。然后在基于Candide3人脸表情跟踪过程中，提取模型参数并集合成为动态特征。通过分析表情变化时所牵动的表情运动单元变化。在原动态特征提取方法的基础上又进一步提出七模型参数的动态特征提取方法，然后针对动态序列图像长度不一的问题，利用了动态规整算法对齐序列图像，并对提取到的特征向量进行了特征选择，分析结果表明基于模型参数的动态特征提取方法具有良好的分类效果。第三，讨论了线性化流形学习等流形学习算法在人脸表情识别中的应用，并且分析了局部保持投影(LPP)算法的基本原理和它与主成分分析(PCA)、线性判别分析(LDA)之间的区别与联系，并研究了基于线性子空间的人脸表情识别方法以及分类器。对表情识别系统的结构进行改进，将训练样本根据表情类别被自然分为六个特征子集，研究了将原始运动特征投影在特征子空间下的人脸表情分类的问题。改进了基于最近邻分类器的识别方法，其思想是判断某个样本子集是否是待识别样本的可能近邻样本集，从而可将无关的样本子集尽快排除。实验结果也表明，改进的最近邻算法既具有快速搜索近邻法的优点，减少了计算量，又提高了分类的准确度。第四，为了解决实用化人脸表情识别系统开发的困难与挑战，更好的进行各相关算法的开发和测试，搭建了一个基于主动机器视觉平台的人脸跟踪与表情识别系统，并进行了相关实验研究。首先阐述了该平台的系统结构，以及实现人脸表情识别系统的关键功能模块。该系统在主动机器视觉平台基础上，对注意力选择的区域进行人脸检测，通过控制云台完成跟踪动作，并对人脸区域进行实时地表情识别。同时在实验平台上做了大量的人脸检测跟踪和表情识别实验，包括对复杂和简单背景下人脸跟踪及表情识别的计算时间和准确性进行了实验，实验结果验证了平台的有效性。最后，首先总结了全文所做的工作，然后提出了在今后需要进一步改进和研究的方向。