随着科学技术的发展,电子商务的广泛应用,图形图像处理等方面的技术逐渐融入生活,并且随着人类需求的增长,对于图形图像处理技术方面的要求也越来越高。其中人脸识别技术占据十分重要的地位。目前在许多领域都备受关注并被广泛研究,如:刑事侦查、铁路交通、网上支付、网络购物、门禁考勤等方面都有十分重要的应用。表情富含人类内心的丰富情感信息,目前二维人脸识别技术已经趋于成熟,但是二维人脸数据由于受光照、姿态等外界因素的干扰,使得其在人脸表情识别研究上具有局限性。而三维人脸数据不受光照、视图以及化妆等因素的影响,具有显式的空间形状表征,所以近年来表情识别的研究也逐步从基于二维数据的研究转向基于三维模型的研究。本文的主要工作包括:1)自动地标检测大部分的三维人脸表情识别都是基于现有数据中既定的关键点进行特征提取,而数据库中的关键点大部分都是手动标注的,精准度有所欠缺,同时,为了有效缓解头部姿态大幅度变换情况下对表情带来的影响,本文首先采取一种有效的方法定位鼻尖点,然后在根据鼻尖点的位置进行自动地标检测,本文根据已经定位好的鼻尖位置结合稀疏人脸模型创建我们所需要的用于人脸表情识别的面部地标位置,所提出的方法对于极端头部姿势和正常头部姿势下地标检测都是有效的。2)创建描述符为了有效地对不同头部姿势下的面部表情表情特征进行描述,本文在前人的基础上提出了一种多模态融合的特征描述符。将GeoTopo算子以及热核特征和LBP算子进行融合。融合后的特征可以有效地缓解三维人脸模型在发生非拉伸形变时所带来的影响,也可以有效地对极端头部姿势下所提取的面部地标进行描述,有助于提高算法在基于面部运动单元进行表示的识别过程中的准确性。3)分类识别在识别阶段,针对不同头部姿势,对于不肤色的人种,典型的六种面部表情变化下所产生的肌肉运动是一致的所以本文采用基于面部动作单元(AU)的面部运动编码系统(FACS)的识别方法。对于极端头部姿势,本文采用一种易于计算和旋转不变的三维人脸点云柱面投影方法,将问题转化为缺失的数据分类问题。人脸的三维数据被投影到一个头部不变的二维表示法中。本文不仅实现了基于面部动作单元的面部表情识别,还实现了对不同描述符之间识别准确率的比较。