情绪是人类沟通交流的重要方式,可以反映人类的心理或生理状态,驱动个体的行为与决策。对于人工智能领域,理解人类情感具有重要研究意义,赋予机器情感认知,能让机器更智能友好的服务于人,如人机互交中实现更人性化的互动,医疗诊断中辅助判断病人状态,娱乐游戏中提升玩家体验等。人类的情绪表达可通过生理信号或非生理信号传递,根据应用场景需求,可使用相关信号进行情感分析。本工作由数据类型驱动,根据脑电数据和面部图像数据特点,研究了不同数据场景下的情绪识别算法,主要贡献如下:1)基于拓扑图结构的脑电情绪识别研究。脑电数据的空间结构是非欧的,可使用图网络进行建模,但是随着网络深度的增加,容易出现模式崩塌,性能下降。针对此问题,本文提出了更深及更宽的图卷积宽度网络GCB-Net,学习脑电数据的高级情绪特征。浅层的图卷积神经网络（GCNN）可挖掘脑电通道之间的相关性,更深层的卷积神经网络（CNN）可学习更高级的深度特征,宽度连接将浅层与深层的特征拼接,使得模型可利用多层次的特征进行情绪识别。最后,本文通过脑电情绪数据集验证了GCB-Net的良好识别性能。2)基于面部区域动作的表情识别研究。人脸表情可看作不同面部区域动作的组合,直接对面部图片进行区域划分,无法获取该区域的动作信息。因此本文结合动作单元（AU）构建了多路区域网络RAU-Net,将面部图片划分为多个小区域,分别学习各区域的AU特征,再整合为表情特征。实验结果表明提出的RAU-Net能学到辨别性强的区域动作特征,可提升表情识别性能。3)基于特权动作信息的表情识别研究。鉴于单一图片提供的信息有限,可利用AU信息提升表情识别模型,但是直接使用AU信息会增加网络复杂度。因此本文采取特权学习方式,将AU信息隐式嵌入深度表情识别网络,而不增加网络推理过程的计算量。特权动作网络PAU-Net有两种信息流入网络的方式:AU信息作为特权输入（I型）和特权输出（II型）。I型PAU-Net使用AU作为输入,利用AU识别出的情绪标签作为辅助标签,约束原网络情绪标签的学习过程。II型PAU-Net使用AU作为浅层局部网络的学习标签,使得网络在浅层可学习到AU相关特征,深层网络进一步学习到辨别性更强的表情相关特征。本文在表情识别数据集上进行了实验验证,结果表明了使用AU作为特权信息的有效性。4)基于面部语义学习的AU识别研究。AU描述的是面部区域的肌肉运动方式,具有面部区域相关性。网络若能理解面部语义划分,AU识别任务也会更加容易。常规方法依赖于面部关键点去获取面部结构信息,而模型本身无法理解面部语义。因此,本文提出了基于面部语义嵌入的Transformer模型SEi T,可以学习面部语义特征,并对区域语义嵌入进行信息互动,挖掘区域间的相关性。实验表明,面部语义学习可提升网络的AU识别效果,改善网络性能。