面部表情作为人类表达个人情感的重要手段,在人类的交往活动中起着非常重要的作用。同时,面部表情也是计算机理解人类行为的前提,是情感计算的基础,它在人机交互、医疗、公共安全等领域具有广泛的应用前景。人脸表情识别通常包含表情特征提取与分类器选择两个步骤,如何提取有效的表情特征仍是一个具有挑战性的研究课题。传统的表情识别方法需要手工提取特征,过程繁琐且不稳定。近年来,随着深度学习技术的飞速发展,深度神经网络在计算机视觉领域获得了十分优异的表现,它通过逐层学习能够自动抽取更抽象、更准确的高维特征,并且神经网络能同时实现特征提取与分类识别两个任务,泛化能力更强。因此,本文通过研究当今流行的深度神经网络,分析其特点并将其应用于人脸表情识别领域中。本文的主要工作如下:(1)提出一种将图像差分与卷积深度置信网络相结合的表情识别方法。在提取表情特征时,传统的表情识别方法难以去除个体性差异及提取表情关键部位的高层次特征。引入图像差分则可以突出五官关键部位的信息,将其作为卷积深度置信网络的输入则能够提取到更准确的表情特征,将各类表情图像与中性表情图像做差分运算即可提取各类表情的差分图像。之后本文对传统的卷积受限玻尔兹曼机(convolutional restricted boltzmann machines,CRBM)进行了改进,将其可见层单元划分为多个区域,分区进行特征学习,将此CRBM堆叠起来,提出一种分区卷积深度置信网络(Partitioned Convolution Deep Belief Network,PCDBN),之后将各类表情的差分图像作为PCDBN可视层的输入,并利用平均对比散度算法逐层训练网络并在顶层添加Softmax分类器作为输出层,最后将训练好的网络用来对表情测试样本进行识别。(2)提出一种基于集成卷积神经网络的表情识别方法。单个神经网络在进行表情识别时通常会不够全面,对表情图像的识别效果有所局限。利用集成学习方法将多个神经网络集成为一个系统,能够使不同结构的神经网络在表情识别中发挥协同作用。基于卷积神经网络在图像分类中的优秀表现,探讨了其在表情识别领域的表现。首先构造三个不同结构的卷积神经网络,之后通过集成学习的方法将三个网络进行融合,实现鲁棒、准确的表情识别。我们给三个网络分配了不同的权重来衡量它们对最终识别效果的贡献。最后,利用训练好的集成卷积神经网络对测试样本进行识别。在两个经典表情数据集上的实验结果表明,与传统的单个的深度神经网络和一些不使用深度学习模型的方法相比,该方法能提取到更准确有效的表情特征实现表情识别。本文提出的基于深度神经网络的人脸表情识别方法在JAFFE和CK+数据集上的实验表明,深度神经网络能够提取到有效的表情特征,识别效果优于传统方法,并且使用多个神经网络集成的方法对不同表情的识别表现优于单一网络,能够在特征提取任务中相互协同作用以达到更好的分类效果,为进一步研究深度神经网络在表情识别领域的应用提供帮助。