多角度面部表情识别一直以来都是机器学习和计算机视觉领域的研究难点之一。传统意义上的面部表情识别指的是对正面人脸表情图片进行分类。但是现实中我们获取的人脸表情图片,大多是由不同偏转角度的摄像机所拍摄的多角度人脸表情图片。不同角度的相同面部表情的特征大不相同,使得计算机精确的识别多角度面部表情这项任务更具有挑战性。此外,许多公开的面部表情识别算法对非限制性条件下采集的人脸图像识别效果不佳,说明目前多数表情识别算法离实际应用仍有较大的差距。大多数的表情识别算法只是对标准正脸表情图片通过相关算法进行分类,如果直接将正脸表情识别算法使用在多角度人脸表情识别领域,准确率会极大的降低,因为正脸表情和侧脸表情的特征差异很大。针对上述问题,本文采用基于生成对抗网络的算法来提高多角度面部表情识别的准确率和鲁棒性。其中对于不同角度下采集的人脸表情图片,基于迁移学习的思想,将侧脸表情特征映射到正脸表情特征空间中,并且优化了特征分类的方法。该算法能够很好的学习正脸表情特征和侧脸表情特征之间的映射关系,并且能够从两种角度提取人脸表情的空间特征。算法的有效性在第四章的实验部分得到了充分的验证。本文的研究内容如下:(1)调研了常用的多角度人脸表情识别方法,简述了多角度人脸表情识别和迁移学习之间的关联,并使用基于深度神经网络的算法实现了三种迁移学习领域的实验,证明了生成对抗网络在迁移学习领域应用的可行性;(2)提出了基于条件生成对抗网络的算法来解决多角度人脸表情识别问题。近年来,生成对抗网络在计算机视觉领域取得了巨大的成功,本文将其引入到表情识别领域并取得了不错的效果。为了提高多角度人脸表情识别的准确率,本文使用生成对抗网络的分支——条件生成对抗网络来学习正脸表情特征和侧脸表情特征之间的映射关系,将多种角度的侧脸表情转换为对应的正脸表情,再对得到的正脸表情使用卷积神经网络进行表情分类。该算法运用迁移学习的思想,学习了正脸表情特征到侧脸表情特征的映射关系,相当于将拍摄侧脸表情的摄像机“扳正”,接下来只要进行简单的正脸表情识别即可。本文对使用条件生成对抗网络进行多角度表情识别的系统进行了讨论,主要是以实验的形式展开;(3)提出了结合生成对抗网络和卷积神经网络优点的深度神经网络MVFGAN。将特征映射网络GAN的低层部分与表情判别网络VGG16的高层部分相连接,形成一个判别侧脸表情类别的深度神经网络MVFGAN。由于GAN中的低层部分是侧脸图像到正脸图像的映射,高层部分是对正脸表情图像中表情语义的描述。因此,本方法利用生成对抗网络将多角度侧脸表情识别问题分解为侧脸图像到正脸图像的映射和正脸表情图像的判别。该网络和使用条件生成对抗网络进行多角度表情识别不同的是,不需要中途生成侧脸表情图片所对应的正脸表情图片再使用卷积神经网络进行分类,而是将特征映射和特征分类的两个网络耦合,形成新的端对端的深度神经网络MVFGAN。在使用MVFGAN算法进行多角度面部表情识别的实验之后,鉴于该算法和基于条件生成对抗网络算法的互补性,将两种网络模型融合,进一步提升了多角度面部表情识别的准确率。最后本文将提出的MVFGAN融合算法与现有的多角度人脸表情识别算法在几个知名的人脸表情数据集上进行了对比实验,本文提出的方法明显优于其它方法,也印证了本文算法的有效性。