论文部分内容阅读
研究表明面部表情是人类情感交流的重要途径之一,因此表情识别是拟人化人机交互研究领域中的关键课题之一。20世纪90年代开始,自动表情识别研究日益活跃起来,国内外众多研究机构和高校的研究人员采用不同的方法对人脸表情识别相关技术和算法进行了研究,取得了一定的成果,但总的来说,人脸表情识别还处于研究阶段。现有的表情识别分为两种:面部动作单元识别和表情类别识别,这两种识别的一般框架是:先抽取各种几何和外观特征,然后采用机器学习算法构建分类器以识别各个动作单元或表情。这种方法是图像底层特征驱动的,易受到各种成像条件(比如光照和拍摄角度等)的影响,算法的扩展性能不强。而面部肌肉相互作用的时空关系,即面部的先验知识,由人脸的解剖学结构所决定,不受成像环境的影响。因此,面部的先验知识可以作为面部图像数据的有益而必要的补充,有可能为提高表情识别算法的扩展性能提供一种新的解决思路。因此,本文针对先验知识在面部表情和动作单元识别中的应用进行了初步探索,具体如下:(1)提出了面部动作单元辅助的表情识别方法。该方法对表情和动作单元之间的概率依存关系建模作为表情识别的先验知识。首先根据所有训练样本的标签数据为每种表情选择对其最重要的面部动作单元,然后依据训练数据为每种表情构建贝叶斯网络以捕获该表情和其重要相关面部动作单元之间的条件依赖关系,再结合常用分类算法完成表情的分类识别。(2)提出了不完整标注的面部动作单元识别的方法。该方法为不完整数据中的表情和面部动作单元之间的概率依赖关系建模作为面部动作单元识别的先验知识。首先采用结构期望最大化算法从不完整标注的训练样本中学习表情和各个面部动作单元之间的条件依赖概率图模型,然后结合常见的分类模型用以同步检测多个面部动作单元。(3)提出了基于隐马尔科夫模型(Hidden Markov Model, HMM)的面部表情早识别的方法。本方法为各种表情的时序信息构建HMM作为表情早识别的先验知识,以在表情开始之后结束之前尽早地准确识别面部图像序列的表情类别。首先利用训练数据构建各种表情的HMM,在验证集上验证模型并确定各个隐马尔科夫模型输出的概率似然的熵值阈值,在测试过程中,将待测的面部图像序列逐帧输入各个HMM中,得到该样本属于每种表情的概率的熵值,不断增加帧数,直到该熵值减小到熵值阈值或者图像序列结束。根据各个HMM输出的概率值确定待测样本的表情类别。