论文部分内容阅读
面部表情识别是计算机视觉中的一门重要技术,近几年来变得非常热门。面部表情识别技术在不同的领域取得了成功,但是面部表情识别仍是一项具有挑战性的工作,因为受到不同的情感表达,肤色,亮度,姿势和背景等各方面的影响。在解决面部表情识别问题时,单一特征描述符的特征提取能力有限,同时一般方法利用整个面部提取表情特征,这样可能会忽略情感丰富的局部区域。因此,本文针对上述问题,做了相关工作,以下为本文主要的工作内容。(1)首先介绍了研究课题的背景和意义,并阐述了面部表情识别的研究现状。然后详细介绍了面部表情识别的一般过程,包括人脸检测方法,人脸对齐方法,常用的图像预处理方法和几种不同的面部表情的特征提取方法。最后介绍了特征分类方法。(2)本文提出了一种将多方向梯度计算HOG(MO-HOG)特征和深度学习特征进行迭代融合的面部表情识别方法。同时提出了HOG的补充形式对角方向梯度计算HOG(D-HOG),获取对角方向的梯度信息,统计直方图和HOG组合形成新的MO-HOG特征描述符。对整体面部和表情丰富的局部分别提取MO-HOG特征,同时设计深度网络提取有效的深度学习特征,并提出了一种基于优化算法的特征融合方法,通过迭代的方式得到最佳的特征融合分类器。在CK+,JAFFE数据集上进行了实验,与其他面部表情识别方法对比,结果证明了本文方法的有效性,在CK+,JAFFE数据集上分别取得了97.70%和97.63%的识别准确率。(3)情感丰富的局部表情特征直观上有助于面部表情特征的提取,本文提出了基于面部部件注意力机制的面部表情识别方法。本文借助注意力机制提取情感丰富的局部区域特征,和整体面部特征互补进行更好的面部表情识别。首先,本文提出了一个基于聚类的面部特征点选择方法,挑选具有共性且最能反映局部区域情感的面部特征点。然后,本文设计了一个面部部件注意力机制网络FPA-CNN,FPA-CNN由两部分组成,第一部分为对象网络,用于提取整体面部特征,第二部分为部件注意网络,利用注意力机制提取局部部件特征。最后将两部分特征融合用于训练最终的分类器。本方法在RAF面部表情数据集上进行了实验,获得了87.26%的识别准确率,充分说明了本方法是有效的。