面部表情中包含大量信息,其识别技术赋予计算机感知人类情感的能力,在教育、医疗、安全、驾驶员疲劳监测、机器人等领域中有大量应用,具有重要的学术和应用价值。在人脸表情自动识别中,姿态变化问题是面部表情自动识别中最主要障碍之一,它能显著改变面部特征,其极大影响了识别任务的精度。本文针对视频人脸表情识别中姿态问题,结合卷积神经网络,分别从人脸检测和表情特征提取两个方面提出解决方案,论文主要研究内容如下:(1)人脸检测是人脸表情等相关识别任务的基础。围绕视频流中如何对存在姿态变化的人脸进行检测的问题,本文将人脸特征点与金字塔光流相结合,提出了基于级联网络和金字塔光流的旋转不变人脸检测算法。首先利用级联渐进卷积神经网络对视频流中前一帧进行人脸位置和特征点的定位;其次为获取特征点与人脸候选框间光流映射,使用独立的特征点检测网络对当前帧进行再次定位;之后计算前后两帧之间特征点光流位移;最后通过特征点光流位移与人脸候选框的映射关系,对视频中检测到的人脸进行校正,从而完成平面内旋转人脸不变性检测。通过在两个公开数据集中与相关检测算法对比后实验表明,该算法精度较高,能有效解决平面内旋转人脸检测问题。同时,本文算法检测速度有较大优势,视频流中人脸候选框抖动问题得到了很好解决。(2)表情特征的有效提取是人脸表情识别的核心环节。围绕着如何可靠高效地提取表情特征,本文使用Mobile Net V2作为基础特征提取网络,并通过注意机制将人脸关键区域特征和全局特征相关联,提出了基于轻量化网络和注意力模块的人脸表情识别算法。首先获取视频流中的人脸图像,并使用Mobile Net V2网络获取人脸特征点区域的特征;其次使用注意模块为每个区域特征分配注意力权重,并将不同区域特征聚合成一个全局特征;之后通过关联面部特征点区域特征和面部全局特征,获得一个联合特征;最后根据联合特征输出识别结果。同时为了提高人脸表情识别模型的训练性能,在原有的数据集的基础上,整理和标注相应姿态数据子集。通过在三个公开数据集中与相关表情识别算法对比后实验表明,该算法架构较大地改善人脸表情特征表征能力,算法识别率优于相关的先进算法。