论文部分内容阅读
随着计算机视觉技术的快速发展,人脸表情识别技术逐渐兴起。无论在学术界还是应用在工业界,如何实现人脸表情的自动识别已经成为研究的热门课题。当前人脸表情识别技术存在巨大的发展潜力以及丰富的应用场景,可用于智能人机互动、汽车安全驾驶、辅助医疗和在线教育等场景。到目前为止,大多数人脸表情识别算法的研究对象主要是使用静态表情图像,但是人脸表情变化是一个动态的过程,仅仅使用静态的人脸表情图像不能利用到表情变化的时间和空间特征。图像序列人脸表情相比较静态图像人脸表情可以捕捉到更多的运动特征和纹理特征,这样在进行人脸表情分类时可以提高准确率。本文的主要研究工作和创新点如下:1、分析了输入图像的预处理操作来提高人脸表情的识别率。不同于传统的卷积神经网络直接将检测到人脸的原始图片作为输入,本文算法在输入网络前进行了一系列的图像预处理操作。首先使用了最新准确率较高的人脸检测算法Retina Face提高复杂以及非正脸的识别率,然后使用了基于面部四点的人脸对齐法进行人脸的对齐,接着进行了图像裁剪以及强度归一化,最后使用传统方法提取旋转不变局部二值模式(Local Binary Pattern,LBP)图谱作为最终输入。2、研究了深度残差网络作为骨干网络实现静态人脸表情识别的算法。首先使用一系列的图像预处理操作后得到输入图像的LBP图谱,然后使用LBP图谱作为深度残差网络的输入,最后网络模型经过训练后使用Softmax层进行人脸表情的分类。对比了不同层数的残差网络、不同形式的LBP算子以及其他网络结构等对表情识别的影响,并且在FER2013数据集上进行了实验,结果表明本文算法具有较高的识别率。3、研究了深度残差网络结合长短期记忆(Long Short-Term Memory,LSTM)网络实现图像序列人脸表情识别的算法。首先,将在FER2013数据集训练好的网络作为特征提取器;然后,将图像序列作为一个单位依次提取每一帧特征,接着以向量的形式组合成为表情时序特征;最后,将表情时序特征作为长短期记忆网络的输入来进行人脸表情分类。同时,使用支持向量机算法和随机森林算法进行了图片序列表情识别,并且在Cohn-Kanade数据集和AFEW6.0数据集上进行了验证,与其他图片序列表情识别算法进行了对比,实验结果表明本文算法识别率有一定的提升。