人脸表情识别作为情绪识别领域的重要部分,是实现人机高级交互的必要条件,因此面部表情识别是当前一个热门的研究领域。人脸表情识别需要对监控设备所捕捉的表情图像或序列信息进行分类识别,因此如何有效地从监控设备中提取表情序列或图片然后再进行相应的识别是很有意义的。本文主要工作是基于深度学习方法研究对表情序列中关键帧的提取和研究基于差分特征的表情识别,研究工作包含以下三点:(1)由于表情识别存在天花板效应,因此对表情强度与表情识别进行研究分析,提出了基于表情强度相对差分特征的表情帧提取网络RDEI。表情强度是表情状态相对于同一个人的中性表情状态而言的,因此表情强度的信息需要结合中性表情图像和表情图像才能获得。本文通过对FaceNet网络的改进,提出了通过表情强度提取序列中表情帧的RDEI网络。通过实验表明,发现在自定义的评价标准下,模型在预设的CK+与MMI数据集上实现了96%左右的准确率,证明了该理论方法的可行性。(2)考虑到因身份偏差可能导致预设数据集中的表情强度在不同样本中的差异性,为了保证表情识别任务的精度,本文提出了一种强度变换不变池策略ITI-pooling。在RDEI模型训练时,将同一类的表情数据组同时送到CNN网络中进行训练,再对输出矩阵的最大值响应得到差分特征向量,这将使得RDEI模型实现对表情强度变换的不变特性。通过对比实验证明,使用ITI-pooling优化训练的RDEI模型在损失收敛上有明显改进,在预设的测试集中,发现优化后的模型准确率更高,达到99%以上。(3)因样本的身份偏差与数据集规模较小的影响,本文提出了基于深度峰中差分多特征的表情识别网络DPDM。本文采用Siamese网络架构提取局部差分特征,并从RDEI网络的中间特征层提取全局差分特征,然后将两类特征聚合进行表情识别。通过对比实验表明,在FER任务中,本文的多特征比单一特征在准确率表现更好,同时证明了使用联合损失对模型训练的改善作用。最后,本文结合RDEI与DPDM构建了一个简单的表情识别系统,通过简单实验证明该系统能够自动的提取表情序列中的表情帧并进行表情识别任务。