微表情是一种特殊的面部微小动作,通常是人们在某些环境下试图隐藏而不由自主发生的一种短暂情感,可以作为判断情绪的重要依据。相关研究是情感计算领域的重要研究方向,且具有广泛的应用前景。持续时间短、变化强度低、局部不对称以及环境因素等影响,使得微表情的检测和识别变得非常困难。为此,本文提出了鲁棒微表情关键点定位及特征提取算法,并应用于人脸微表情识别。论文工作如下:(1)研究分析了三种基于深度学习的人脸关键点定位网络模型,即精细化卷积神经网络(Coarse to Fine CNN)、多任务卷积神经网络(Multi-Task CNN)以及风格聚合网络(Style Aggregated Network,SAN)。在300W数据集和真实环境下的对比实验表明,与其它两种网络模型相比,SAN模型对环境及姿态变化具有更强的鲁棒性。因此本文选定基于SAN的人脸关键点定位算法用于本文所提的微表情特征提取与识别算法。(2)提出了一种样本分布均衡约束的微表情特征提取与识别算法。微表情很难被捕捉和模仿,因此现有相关数据集均存在样本分布不均衡的问题并影响模型训练的效果。为解决这一问题,本文设计了一种样本分布均衡损失,并以VGG-16-V作为骨架网络,提出了样本分布均衡约束的微表情特征提取与识别算法。在CASME Ⅱ数据集的实验表明,与VGG-16-V网络相比,采用原始样本作为输入时,所提算法的识别率可提高0.10%,若采用人脸关键点对样本进行数据级增强,识别率可提高10.10%。(3)提出了一种时空联合描述的双流微表情特征提取与识别算法。针对其中的时序关系描述流,本文设计了一种二维关键点特征提取模型(Two-dimensional landmark feature,TDLF),用于提取每帧(除峰值帧之外)人脸的关键点与峰值帧人脸关键点间距离的变化;而空间特征描述流则选取本文所提的样本分布均衡约束的网络结构。时序关系及空间特征描述流预测输出,最后通过全连接层进行决策融合,所提算法可采用端到端的方式进行训练。在CASME II数据集的实验表明,所提算法的正确识别率可达到85.00%。