论文部分内容阅读
人脸表情识别技术是指针对已人为细分和标定好表情类别标签的人脸图像集,采用机器学习方法建立人脸表情分类识别的模式,再利用所建立的分类模式实现机器对人面部表情的理解以及心理活动的判断,它是智能化人机交互的基础,应用领域广泛。影响人脸表情识别准确率的关键因素是机器学习算法。随着具有通过组合低层特征形成更加抽象的高层属性类别或特征表示能力的深度学习算法的出现,以监督学习模式的卷积神经网络(Convolutional Neural Network,CNN)以及非监督学习模式的深度信念网络(Deep Belief Network,DBN)为代表的深度学习模型受到众多模式识别研究者的热捧。深度学习算法的优势在于:即使不做人脸检测、特征提取等预处理,只要人脸图像足够多,依靠它自身优良的分布式特征表示和记忆能力,基于它的人脸表情识别准确率明显高于其他的传统方法。但在实际应用中,受限于计算机硬件条件,依靠实验经验来确定深度学习网络结构及其相关参数的过程非常耗时(甚至系统奔溃),让研究者苦不堪言。因此,开展人脸检测和人脸局部特征提取方法的研究,以降低深度学习模型输入端的数据维度,有利于提高学习和识别的效率;同时,人脸表情是一种非刚性的细节纹理特征,通过提取人脸的局部细节纹理特征,再用于深度模型学习和识别,无疑有利于进一步提高表情识别的准确率和鲁棒性。鉴于此,论文的主要研究内容有:(1)确立了人脸检测、局部特征提取与深度学习算法相结合的人脸表情识别技术路线,实现了基于Haar-like特征的AdaBoost人脸检测方法。在深度学习平台硬件条件没有得以明显改善,以及无数次实验过程受挫的情况下,通过理论分析,确立了在深度学习算法进行网络训练之前,先对人脸图像进行人脸检测及局部特征提取的技术路线;兼顾检测速率和准确率指标,对比分析多种人脸检测算法的优劣,研究并实现了基于Haar-like特征的AdaBoost人脸检测方法。对比实验结果表明,基于Haar-like特征的AdaBoost人脸检测方法比基于肤色模型的人脸检测方法具有明显好的检测效率。(2)提出了改进的主动形状模型(Active Shape Model,ASM)局部特征提取方法,建立了疲劳表情识别规则,实现了面向驾驶员面部疲劳状态识别的应用系统。在已实现的人脸检测方法的基础上,面向疲劳表情识别,通过深入研究ASM理论,在Helen数据集的基础上,在国内外率先实现了基于194个人脸特征点的ASM局部特征提取方法,采用PERCLOS参数判断眼睛疲劳状态与采用支持向量机(Support Vector Machine,SVM)分类器判断头部下垂程度相结合,建立了疲劳表情识别规则,并开发了面向驾驶员面部疲劳状态识别的实时应用系统。(3)提出了改进的局部二值模式(Local Binary Pattern,LBP)特征提取与DBN相结合的人脸表情识别方法。针对面向中性、高兴、愤怒、悲伤、惊讶、恐惧、厌恶等7种情绪表情识别应用的CK+数据集,建立了邻域平滑算子,提出了改进的LBP特征提取方法;在此基础上,通过大量实验确定了DBN网络结构及参数,实现了基于DBN的人脸表情识别方法。实验结果表明,在DBN网络对CK+数据集进行学习前,采用基于Haar-like特征的AdaBoost算法进行人脸检测、采用改进的LBP模型进行人脸局部特征提取,有利于缩短DBN网络训练的时间,同时表情识别的准确率也有明显提高。(4)开发了基于CNN深度模型的表情识别实时应用系统。采用轻量级的CNN深度模型,针对CK+数据集进行训练,搭建了人机交互平台,开发了能满足中性、高兴、愤怒、悲伤、惊讶、恐惧、厌恶等7种情绪表情实时识别需要的应用系统。该系统人机交互响应速度快,平均表情识别准确率达到84.4%。