面部表情是人类表达情感最重要的方式，如果能让计算机按照人类自然的方式理解人的情感状态，根据人的需求、习惯主动地为人类服务，这将从根本上改变人和计算机的关系，改变人类的生活方式。在过去的几十年里，人面部运动识别技术引起了学术界的广泛关注并积累了大量的成果，但大量实测经验表明，人面部运动识别技术还远远达不到实际应用的程度，尤其是现实环境中光照、遮挡等造成的图像不稳定性、不同种族和性别的面部差异以及人类过于丰富的表情内容都给面部运动识别带来了诸多困难和极大的挑战。本文将针对上述问题进行深入研究，包括人面部特征点追踪、自然人面部运动单元（AU）识别等。主要研究工作包括：分析线性模型在建模非线性面部形状时存在的缺陷，并在此基础上对面部特征点的追踪流程进行进一步的探讨和改进。针对常规线性先验模型不易捕捉大幅度表情变化时的面部特征点问题，研究并构建基于高斯受限玻尔兹曼机（GRBM）的面部特征点形状先验模型。此方法采用GRBM建模面部特征点间的深层形状关系，通过吉布斯（Gibbs）采样追踪面部特征点的具体位置，使面部特征点的观测值受到形状先验模型的约束，从而减小追踪结果的误差。分析独立识别面部运动单元（AU）时存在的问题，明确了面部运动单元之间的语义关系在其识别过程中的重要作用。针对当前研究只能建模部分成对AU间的相互关系，而忽略了AU全局关系的问题，提出基于受限玻尔兹曼机（RBM）的面部运动单元识别模型。该模型充分利用RBM层间全连接的结构特征，以及无监督的学习特性，从而捕捉到面部运动单元之间的全局语义关系，进而利用这种语义关系修正面部运动单元的观测值，提高面部运动单元的识别准确率。最后，本文合理地设计了面部特征点追踪实验和面部运动单元识别实验，在公开数据库上验证本文所提出的先验模型的有效性和通用性，并和当前发展状况比较，证明所提出的方法的优越性。