情感是人类的基础,通常与逻辑决策、感知、人际交往联系在一起,在人类的认知中起着重要的作用。近年来,随着人机交互应用在计算机辅助领域需求的快速发展,赋予计算机识别情感的能力逐渐成为一个备受关注的焦点。情感识别为人类与计算机之间提供情感交互的桥梁,赋予计算机检测、处理、回复人类情绪的能力。脑电信号作为中枢神经系统的信号,与大脑的情感活动息息相关,已经成为了识别情感的主要手段。作为大脑的一种高级活动,情感的产生需要依靠大脑各个区域协同作用才能完成。情感还具有稀疏性和不频繁性,脑电信号是分布在不同脑区的连续时间信号波,而情感信息可能只在某些时间片段或者大脑区域分布显著。如何建模脑区之间的信息交互以及关注情感显著的片段和脑区,是提取高效情感特征并提高情感识别准确率的关键。其次,在一些关键场景,人机交互系统还能收集其他的一些外部行为数据以全面描述人类的情感变化。如何在多模态的场景下,融合脑电信号和其他模态的情感信息是提升情感识别性能的核心。针对上述问题,本课题分别对基于脑电信号的单模态和多模态情感识别进行了研究,主要工作如下:（1）设计了基于时空图卷积神经网络的脑电情感识别模型用于脑电单模态的情感分类。该模型通过引入时空注意力机制解决情感稀疏性问题,并根据自适应学习的脑网络拓扑连接矩阵,挖掘不同位置的电极通道之间的功能连接关系。然后通过图卷积操作进行基于图结构的特征学习,最终完成情感的预测。本文进一步通过在图空间中为每一节点加入不同的特征视图,设计了多视图的融合策略,对脑电信号的多种特征进行融合。最后对时空图卷积网络模型在脑电信号单视图和多视图特征下的情感识别结果进行了分析比较,对各种不同网络参数的进行了多次实验。结果表明,设计的模型相比基线模型在情感识别的准确率上具有一定的优势,平均情感识别准确率达到84.91%。（2）提出了基于多层自注意力机制的情感分类模型用于脑电信号与眼动信号的多模态情感识别。该模型针对多模态情感识别中的多模态特征融合和模式识别问题进行了改良:1)增强模态间和模态内的情感信息交互。2)针对不同情感类别和不同模态特征之间的相关性差异,构建情感相关矩阵,并以此加强高度相关的特征,提升其对情感分类的影响力。最终的实验结果表明,本文设计的多模态情感识别模型相比基线模型在准确率上具有一定的提升,取得了 91.09%的平均情感分类准确率。