论文部分内容阅读
微表情是一种自发式的表情,在人们试图隐藏自身真实情感时产生,既无法伪造,也无法抑制,可以用来揣度一个人的真实心理状态,微表情识别在临床医学、刑侦、公共安全等领域具有重要的应用价值。本文对基于卷积神经网络的微表情识别进行研究分析,并给出三种改进的基于卷积神经网络的微表情识别方法。本文的主要工作如下:(1)给出了一种基于2D-3D双流卷积神经网络的微表情识别方法。针对三维卷积不能对时间信息、空间信息分开优化以及提取时间信息尺度单一化的问题,给出了一种双时间尺度三维卷积神经网络,去除空间池化层以提高对于静态特征的提取能力,时间卷积与空间卷积并行连接使两者的参数优化过程分开进行,增加不同维度的时间卷积以增加时间信息的多样性,从而提取微表情的短时特征。为了获取微表情视频中运动信息,利用计算差分信息图的方式将视频的运动信息集中于一张图像,并利用二维残差网络对差分信息图进行综合分析,从而提取微表情的长时特征。为了同时利用长时特征和短时特征,将双时间尺度三维卷积神经网络与基于差分信息图的残差网络的特征图相加融合得到2D-3D双流卷积神经网络,并进行微表情识别。(2)给出了一种基于峰值帧与运动区域的微表情识别方法。针对微表情视频中冗余信息过多的问题,通过当前帧与起始帧之间的余弦相似度来有效定位峰值帧,去除冗余的视频帧;通过抓取视频帧中的运动区域,去除冗余的静态特征。峰值帧中缺少相邻视频帧间的时间信息,而视频中的运动区域缺少完整的空间信息,为了提取完整的时空信息,给出了一种基于峰值帧与运动区域的卷积神经网络,将峰值帧的特征与运动区域的特征进行相加融合,并进行微表情识别。(3)给出了一种基于注意力机制的微表情识别方法。针对微表情图像中有用信息较少且不同区域对分类效果影响不同的问题,给出了一种基于空间注意力与通道注意力机制的卷积神经网络。对不同空间或通道的特征分布不同的权重系数,增强相关性高的区域,抑制相关性低的区域。