论文部分内容阅读
表情识别技术是生物学、心理学和计算机学等多门学科的交叉产物,因为其对于实现人类生活智能化具有高度的使用价值和研究意义,近年来受到众多研究者的广泛关注。由于它是一项覆盖范围极广、涉及领域众多的先进技术,因此伴随着许多需要攻克和突破的技术难题。在深入分析相关理论后,本论文针对表情特征提取算法、特征分类识别以及遮挡情况下的表情分类识别等关键问题展开了深入的研究,分析目前算法的不足并提出改进的解决办法,通过理论分析和实验结果证明所提出改进算法的可行性和有效性。本论文的主要研究内容和创新性工作如下:1.基于离散Shearlet变换和强可分性特征筛选的人脸表情识别方法。针对小波变换进行表情图像特征提取时存在基函数支撑区间和分解方向有限等问题,提出以离散Shearlet变换作为提取表情特征系数的算法。通过分析离散Shearlet变换的分解系数作为表情特征时具有的优势与不足,以及图像在Shearlet变换域下低频与高频分解系数的性能,提出了一种强可分性特征筛选函数,该函数具有特征系数的过滤与筛选功能。通过衡量不同分解尺度和分解方向下系数的分类能力来对离散Shearlet系数进行最佳分解尺度和方向的选择,并通过融合最佳分解尺度与方向下低频与高频系数来获取最终的表情分类特征。通过实验方法选取支持向量机的最佳参数,并设计多分类器框架完成表情分类结果的输出。通过仿真实验和对比实验证明了所提方法具有可行性和有效性。与目前已有人脸表情识别方法相比,本方法的优势在于:首先,离散Shearlet变换作为系数提取算法,因其具有多尺度、多方向、数学构造简单以及实现速度快等优点,在捕捉表情图像中五官的变化信息时表现更加突出;其次,本方法只挑选分类能力最佳的系数作为表情特征,在保证识别精度的同时降低特征矩阵的数据量,从而让表情分类识别更加高效;最后,本方法选择将反映图像概貌的低频系数与反映表情细节变化的高频系数加以融合作为表情特征,为高精度的识别提供了保障。2.基于离散Shearlet变换和归一化互信息特征选择的人脸表情识别方法。针对经过离散Shearlet变换后的表情图像系数存在数据量大且冗余的问题,提出一种改进的归一化互信息特征选择方法对初始特征系数进行筛选。通过分析特征选择算法在进行特征系数筛选时的可行性与不足,提出一种改进的归一化互信息特征选择方法来寻找原始特征系数集合的最优特征子集。通过改进归一化时权值不均问题以及引入特征贡献因子来对原始特征和类别之间的互信息以及特征之间的互信息的差值进行优化处理,从而完成最优特征子集的挑选,保证原始特征系数矩阵的关键分类信息不会流失。进一步,对特征子集进行t-分布随机邻域嵌入非线性的降维处理,保证最终分类特征的精简。最后设计多分类支持向量机框架进行表情分类识别。分类特征的可视化结果、系统识别率以及对比实验都证明了所提方法具有可行性和有效性。与目前已有方法相比,本方法能够对庞大且包含冗余信息的特征系数矩阵进行筛选和精简,在降低特征系数维度的同时保证了高精度的识别,节省了运行时间,简化了算法复杂度,因此可以为系统的高效与准确识别提供有力保障。3.基于生成对抗网络的遮挡人脸表情识别方法。针对现实生活中的表情图像往往存在遮挡的问题,提出基于Wasserstein生成对抗网络对遮挡表情图像进行遮挡区域填补,以及对填补后的图像进行表情分类识别的方法。通过分析生成对抗网络中Jensen-Shannon散度作为相似度量标准时所存在的不足,提出以Wasserstein距离来度量两个概率分布之间的距离。通过一个生成器G和两个鉴别器,1,2iD i(28)来构建本方法的网络结构,并且生成器在我们提出的加权重构损失函数、三连子损失函数以及对抗损失函数的三重约束下对遮挡表情图像进行自然地填补,通过Wasserstein距离构建生成图像、原始未遮挡图像以及无关区域遮挡图像之间的对抗损失来优化鉴别器1D真假鉴别能力,最后通过对鉴别器2D引入分类损失完成表情分类识别。可视化的去遮挡结果、有/无去遮挡处理的表情识别率对比均证明本算法是可行且有效的。与目前已有方法相比,本方法通过用改进的生成网络来还原遮挡图像中的被遮盖区域而得到去遮挡图像,填补后的图像由于人脸信息完整从而保证了后续表情特征提取以及分类识别的顺利进行。并且在有效补全含有复杂表情信息的人脸遮挡图像后,能够得到精简且最具可分性的表情特征系数集合,使处理后的图像质量更高,系统识别更加准确。