人脸表情识别是通过模式识别等计算机技术对人脸表情图像进行特征提取和分类,从而使计算机理解人类情感。表情识别在人机交互、医疗、教育等领域具有广泛的应用价值,成为了计算机视觉领域的热门研究方向之一。目前,实验室环境下的人脸表情识别技术已经得到广泛的研究,然而自然场景中的人脸表情识别更符合实际应用,同时也存在很多问题,人脸表情识别算法的性能也有待进一步提升。本文主要研究自然场景中的人脸表情识别算法,主要的研究内容如下:(1)针对自然场景中人脸表情数据集存在不平衡以及类内差异大的问题,提出了一种类别均衡与局部中值损失联合监督的人脸表情识别模型(Class-balanced and Local Median Model,CALM)。整个CALM模型分为预处理模块、深度学习网络模块和输出模块三个模块。其中创新之处是提出了一个新的损失函数CALM Loss(Class-balanced and Local Median Loss),CALM Loss包含类别均衡softmax损失函数和局部中值损失函数两个部分。其中类别均衡softmax损失函数将数据量较少且容易错分的害怕和厌恶两种表情标记为难样本,将其余五种表情标记为易样本,在网络训练过程中对难样本自适应地增大权重,提高难样本的识别准确率。局部中值损失函数采用与每个样本属于同类别的若干近邻的中值作为类别中心,这样可以在一定程度上减弱离群样本对类别中心选择的影响。在RAF数据集上进行的大量实验证明,本文提出的CALM模型可以将自然场景中人脸表情识别的准确率提高到85.38%,并能够同时解决数据不平衡和类内差异大的问题。(2)为了使模型更加关注与表情相关的区域,获得更具有判别力的表情特征,提出了一种基于注意力机制的双通道人脸表情识别模型(Dual-path facial expression recognition based on attention mechanism,DPAM)。DPAM模型是在CALM模型基础之上,将单通道网络改为双通道网络。双通道网络包含整个人脸区域通道网络和局部人脸区域通道网络,其中整个人脸区域通道网络用来提取整个人脸图像的特征,局部人脸区域通道网络用来提取局部人脸的特征。此外,同时在网络结构中添加了注意力机制模块,注意力机制模块包括两部分,分别为what通路注意力和where通路注意力。what通路注意力用来学习特征通道的重要性,where通路注意力用来学习图像中区域的重要性。实验结果表明,DPAM模型能够获得更具判别力的特征,将自然场景中人脸表情识别的准确率提高到了85.87%。