随着机器学习的飞速发展,领域内的研究者们越来越关注人机情感交互方向。生理信号因其可以客观体现受试者的真实情绪,在各种类型的载体中脱颖而出,在情绪分析研究领域受到越来越多学者的关注。目前,基于脑电模态的情绪分析研究是一个热门课题,但仍然存在一些问题:首先受试者的脑电单一模态存在情感表征不充分问题;其次同一受试者的生理信号受跨时段的影响过大;最后不同受试间的多模态生理信号也存在个体的差异性。基于上述三个问题,本文做了以下三个研究:（1）针对被试的脑电单一模态存在情感表征不充分的问题,提出了基于模态间相关性的多阶段多模态动态融合网络。本方法先分别从脑电、眼电和肌电三种模态的原始生理信号中提取初级情感表征信息。然后计算各模态之间的两两相关性,基于相关性对初级情感特征进行动态的多阶段特征融合。该方法不仅提取了模态内部的情感表征信息,还提取了两两模态之间的交互信息以及所有模态的全局信息。为了验证本方法的有效性,在DEAP数据集上进行了实验,实验结果说明多模态生理信号数据相比于单模态包含了更多的情绪信息,本方法提取出的多模态特征比已有融合方法提取出的特征更适用于情绪分析。（2）针对不同受试间的多模态生理信号存在个体差异性的问题,提出了基于域适应的跨被试多模态情绪识别模型。该模型可以分为两个部分,多模态特征提取模块和域适应模块。该方法先通过不同的卷积神经网络从原始生理信号中提取出各个模态的初步特征向量,然后通过多阶段动态融合方法融合得到多模态特征。得到源域和目标域的多模态特征以后,在分类层利用MMD距离来度量两个特征之间的距离。在训练过程中,将MMD距离和交叉熵共同作为模型迭代的依据,从而实现源域和目标域特征的分布对齐,提高模型的泛化能力。在和非迁移方法以及传统迁移方法的对比中,本文采用基于域适应的跨被试多模态情绪识别方法在DEAP数据集上取得了更好的迁移结果。（3）针对个体的多模态生理信号受跨时段影响出现差异性的问题,本文提出了融合多模态生理信号的跨时段情绪分析模型。该模型基于脑电和眼动两种模态的信号,先分别提取特征向量然后使用基于注意力机制的深度典型相关分析融合方法,对多模态特征进行融合,最后在分类层利用MMD度量源时段特征和目标时段特征之间的分布差异。在模型训练过程中,基于分类损失、相关性损失和MMD损失,优化模型的多模态融合能力以及提高模型的迁移能力。在和传统迁移方法的对比结果中,本文提出的跨时段情绪识别模型在SEED四分类数据集和五分类数据集上都表现出更好的情绪识别能力,在所有被试上都能取得更稳定的情绪识别结果。上述方法在多模态情绪数据集上的实验结果可以表明:1.多模态生理信号含有更充分的情绪信息,可以表现出更优异的情绪识别能力。2.迁移技术可以让多模态情绪识别模型在基于特定被试的跨时段情绪识别任务和跨被试的情绪识别任务上具有更高的泛化性。