论文部分内容阅读
表情识别是情感计算的一个重要分支,在医疗、教育、安保等领域有着广泛的应用前景。传统的表情识别主要针对实验环境下的正面人脸表情图像,但在自然环境下,人脸具有多种姿态,传统方法面临着挑战,研究人员提出了多角度的人脸表情识别方法。其中策略之一是将侧面人脸表情图片进行矫正,使多角度表情识别问题变成正面表情识别问题,但该策略容易受到具体的人脸矫正方法和特征提取算法的影响,性能还有待提高。为解决上述问题,本文提出了一种基于人脸矫正的多角度表情识别方法,在人脸矫正和特征提取方面都进行了相关研究。主要内容如下:（1）针对大角度人脸矫正的问题,采用了基于生成对抗网络的人脸矫正模型EF-GAN。该模型的生成模块使用自编码网络进行正面人脸表情图片的合成;人脸表情主要体现在五官变化,为了更好地让人脸矫正模型保留表情特征信息,判别模块在全局判别器外,又增加了三个用于判断人脸五官特征的局部判别器。实验结果表明,使用了EF-GAN模型的多角度表情识别方法在Multi-PIE数据集上的识别率高于其它方法,证明了该模型的有效性。（2）针对单一特征不能全面表现出人脸表情特征的问题,本文将MLBP算法与HOG算法进行了串行融合,形成一种新的特征提取算法MLBP-HOG。该算法在保留图像局部纹理细节的同时,也保留了图像的边缘特征,能够更加全面地提取图像的表情信息。实验结果表明,EF-GAN+MLBP-HOG的多角度表情识别方法在Multi-PIE数据集上的平均识别率达到了85.37%,超出了同类型多角度表情识别方法EF-GAN+MLBP和EF-GAN+LBP。（3）设计并实现了一个多角度人脸表情识别原型系统,该系统主要由数据输入模块、预处理及人脸矫正模块、特征提取和分类模块、结果展示模块四部分组成,能够对静态表情图片和实时的人脸视频进行情感分析。该系统的实现表明了本文提出算法的有效性和应用价值。