人类的面部表情是反映人类情绪的最常见方式之一,而理解不同类别的面部表情是分析人类感知和情感状态的重要方法。在过去的几十年中,面部表情分析（Facial Expression Analysis,FEA）得到了广泛的研究。经典的关于面部表情的理论把世界各个地区以及种族的面部表情大致分为6类或7类。然而在现实生活中,面部表情的识别会受到各种条件的干扰,例如姿态、光照、遮挡、环境以及人类自身情绪的复杂性等因素,这给面部表情分析带来了很大的挑战,因此采用计算机来进行人脸表情识别,从而获取人类情绪也成为了计算机视觉领域中的热点方向之一。随着硬件的不断更新迭代,深度学习技术也随之得到了长足的发展,深度学习技术逐渐被广泛地应用于各个领域并取得了突破性的进展,特别在计算机视觉领域当中。人脸表情识别作为计算机视觉领域的核心技术,已经有较为丰富的研究成果,但是仍存在某些不足之处,如存在相关算法模型识别准确率较低、模型框架较为冗余、查全率较差等问题。为解决上述问题,本文在多标签、单标签、基于视频的人脸表情识别技术中分别引入深度学习的方法,构建了新的框架、改进了算法并提高了识别的准确率,增强了人脸表情识别技术的鲁棒性。同时本文也对人脸表情识别技术在社会管理中的一些应用进行探讨,提出了一些建议和对策。本文主要研究内容如下:（1）提出新型的多标签面部表情识别及多特征联合集成学习框架（MF-JLE）。它在考虑了许多面部动作单元中的多个表情标签因素的基础上,将全局特征与几种不同的局部关键特征进行平衡。该框架相比其他框架采用了集成学习的方式并引入了二元交叉熵损失函数,获得了更好的集成学习效果。（2）提出了基于生成对抗网络的面部表情识别多模型联合集成学习框架。该框架由Star Gan进行数据增强,再由一个卷积神经网络和一个Swin-transformer模块进行集成学习。在该框架下,基于生成对抗网络的数据增强的方法可以缓解Transformer类模型在小数据集效果不佳的缺陷,而采用Swin-transformer可有效提高感受视野的问题,同时集成带有通道注意力和空间注意力机制的卷积神经网络可以加强模型整体的识别精度。总的来说该框架结合了传统卷积神经网络的优势,以及Transformer的高性能,从而提高了网络的学习效果。（3）提出了基于生成对抗网络与视频图像序列的面部表情识别框架。该方法采用Transformer来分别提取视频中不同帧的时序信息,同时用生成对抗网络对峰值帧的人脸表情图片进行生成,以缓解峰值帧的人脸表情图片数据不足的缺陷。同时再利用Transformer网络对峰值帧图片以及提取的图像序列图片进行特征提取,其中将提取的视频序列图片的特征输入Net VLAD模块使视频序列特征转化为多个视频帧的图片特征,最后利用所提取的时序信息以及图片的表情特征来进行分类。总的来说该工作希望仅用Transformer类型网络,解决提取时序信息和图像特征两方面任务的同时获得较好的分类效果。综上,本文提出了三个算法框架,分别在多标签人脸表情识别、单标签人脸表情识别以及基于视频的人脸表情识别三个领域证明了相应算法框架的有效性,并深入探讨了算法的优化过程。最后在一些标准数据集中进行验证,本文所提出的算法框架都取得了优异的成绩。此外,本文还对人脸表情识别技术在教育管理、医疗管理、交通管理以及国家安全管理等领域上的应用进行了探讨和分析。