论文部分内容阅读
面部动作单元（Action Units,AU）是一组用于描述面部肌肉运动的编码,AU识别在微表情识别、疼痛检测、测谎等方面有广泛的应用。但受情绪表达的个性化影响,无约束的AU识别仍是一个难点。借鉴心理学专家利用外显的面部表情和明显AU推测一些难以察觉的AU的心理学AU识别经验,近年来,利用AU间关联关系辅助AU识别,提高AU识别的准确度已经成为该领域重要研究方向之一。目前常用的基于FACS（Facial Action Unit Coding System）的AU关联关系,从解剖学等视角给出的定性的描述,然而其关系定义的非定量性,加之AU关联关系对个体差异以及环境变化敏感特点,如何建模AU关联关系,使其在AU识别中利用表情标签以及AU关系,成为提升AU识别性能的关键之一。针对该问题,本文探讨利用数据驱动以及数据学习与知识融合的AU关系约束图卷积神经网络,研究表情指导的弱监督AU识别模型改进方案。本文的主要贡献和创新点如下:1.提出了一种数据感知关系图卷积神经网络（Data-aware Relation Graph Convolutional Network,DAR-GCN）。以图卷积神经网络为基础,设计了基于度量学习的AU间相似度度量方法,进而建立数据感知AU关系图生成器（DARGG）,解决AU关系建模中关系难以量化以及关系对个人差异及环境变化的敏感性两个问题。利用DAR-GG生成的数据感知图和图卷积神经网络的推理能力提升AU识别的准确率。在多个公共AU数据集上实验,结果表明DAR-GCN相比主流GCN和SERes Net方法,在CK+数据集上识别准确率提高了1.64%和9.29%,在RAF-AU数据集上提升了3.08%和3.48%,同时相较于主流的SemiSupervised Hidden Task Learning（SHTL）和Semi-Supervised Recognition Adversarial Networks（SRAN）方法在其论文中的实验结果,在CK+分别提升了14.62%和4.69%,证明了数据感知关系图以及图卷积关系推理的有效性。2.提出了双通道图卷积神经网络（Dual-channel Graph Convolntional Network,DGCN）。结合AU关系的先验知识,在所提出的DAR-GCN基础上,建立基于先验知识图卷积通道与数据感知关系图卷积通道。通过双通道融合优化,一方面,利用基于心理学研究的先验知识的AU关系约束,另一方面利用数据学习,感知和建模个体差异和环境变化引起的变化AU关系,提高AU识别的准确性,提升网络模型在无约束AU识别应用的鲁棒性。通过在多个公共AU数据集上的实验表明DGCN相比仅使用数据感知的DAR-GCN和只是用先验知识的GCN,在CK+数据集上识别准确率提高了4.45%和5.6%,在RAF-AU数据集上提升了1.37%和3.96%,同时相较于主流的SHTL和SRAN方法在其论文中的实验结果,在CK+分别提升了17.94%和8.65%,证明了数据感知关系图以及先验知识图卷积关系融合的有效性。3.提出了基于双通道图卷积神经隐藏任务学习网络。针对目前AU标注样本不足问题,考虑到AU与表情之间存在丰富的关联关系的特性,基于隐藏任务学习的思想,本文提出了基于双通道图卷积网络的弱监督AU识别算法,分别建立AU识别隐藏任务分类器和表情识别可见任务分类器,通过隐藏任务分类器和可见任务分类器的协同训练,实现了仅利用表情标签的弱监督AU识别。通过在公共AU数据集上的实验表明,本文所提出的弱监督算法相比Recognition Adversarial Networks（RAN）和原始的Hidden Task Learning（HTL）,在CK+数据集上识别准确率提高了0.46%和9.39%。