随着信息时代的革新以及人工智能的发展,更复杂和更友好的人机交互需求应运而生。作为一种跨语言的传递方式,人脸表情是实现机器理解人类情感的重要数据基础。人脸表情识别可以广泛应用在公共安全、医疗诊断、商业营销和虚拟现实等众多场景。近年来,深度学习方法由于强大的特征学习能力,依托高性能的计算资源显著提升了表情识别的准确率。然而,面对现实世界中爆发式增长的数据,个体差异、复杂场景和不确定性等普遍存在的问题严重影响了表情识别方法的性能。针对上述挑战,本文结合心理学、生理学和认知神经科学等交叉学科成果,研究基于图表征学习的人脸表情识别方法。论文的主要研究内容和创新如下:1)针对图表征学习这一人脸表情识别研究新趋势,本文全面系统地调研了国内外相关方法,从基础理论、历史演变和发展路径等方面总结和分析了现存工作。重点讨论了图表示和图关系推理两个阶段方法的适用情况、技术优势和局限性,并提出了潜在的研究方向。该工作填补了目前基于图表征学习的表情识别方法综述的空白。2)针对表情行为的个体差异问题,本文提出面部网格图与卷积网络相结合的人脸表情识别方法。该方法根据人脸特征点位置利用三角化和网格化自动划分得到符合面部肌肉解剖的动作单元关联区域;随后,提取每个区域的局部外观特征作为节点属性,同时以三角边连接的人脸特征点欧氏距离作为边属性,共同构建人脸表情的网格图表示;为了从网格图中学习面部情感特征,设计了基于对角卷积、序列卷积和池化操作的深度架构训练图结构数据,从而联合学习人脸表情的局部外观与全局几何信息。该方法利用图结构生成了表情的局部-整体表示,并成功将常规卷积神经网络拓展为适用非网格化输入,实现了精准的表情识别。3)针对实际复杂场景中表情行为的多样性,本文提出基于面部语义图与双流图网络的人脸表情识别方法。该方法借助面部动作编码系统设计了关键人脸特征点选择和增补策略,定位表情行为中的主要贡献区域;进而,探索了融合特征和深度特征两种节点属性提取手段以及欧氏距离和跳跃距离两种边语义索引初始化方案,将外观信息、几何信息和情感语义信息共同嵌入表情的面部语义图表示;最后,通过在图卷积模块中引入注意力机制并构建双流图网络,从面部语义图中学习有效的面部情感特征,进一步提升了多种场景下的表情识别性能。4)针对大规模标签数据集中的不确定样本,本文提出基于辅助动作单元图的表情标签校正方法。受到多任务学习思想启发,该方法会在目标分支自动学习和估计训练数据中的样本置信度,并通过加权排名正则化策略抑制不确定表情样本在模型参数更新时的影响;此外,根据动作单元和表情类别之间的潜在映射关系,引入动作单元检测作为辅助任务,从训练数据中驱动生成动作单元图并使用图卷积网络提取情感语义特征,进而对目标分支发现的不确定表情样本在语义相似约束下进行标签校正,优化模型的特征学习方向,在不增加预测开销的情况下显著增强大规模数据集上的表情识别率。实验结果表明本文研究的基于图表征学习的人脸表情识别方法的有效性和合理性,所提出的三个原创方法能够有效解决表情个体差异、复杂真实场景和数据不确定性等挑战,在限定场景和大规模真实场景数据集上都达到了有竞争力的识别准确率。