21世纪以来,情感识别逐渐受到相关研究人员的关注,并成为人机交互领域重点的研究对象。虽然针对情感识别领域已经有了大量的相关工作,然而目前仍有许多尚未解决的问题。首先,目前工作大多仅仅局限于音频、文本或视频等单一的模态信息,最终的识别性能往往不尽人意。其次,尽管当前部分工作也开始尝试从多模态的角度来提高识别准确性,但是针对多模态的情感识别任务,当前工作往往很难找到一种令人满意的特征提取方法,也难以在特征融合过程中很好地对各模态的信息进行综合表示,不能合理地对不同模态之间的内在联系进行建模。因此,目前情感识别领域仍然需要进行更深入的研究。针对情感识别领域目前存在的关键问题,本文从音频、文本以及视觉等与人类情感息息相关的不同模态信息出发,对各单一模态的情感识别任务进行研究,并在此基础上进行相关模态的特征提取,同时将以上情感特征进行融合,通过联合音频、文本以及视觉等不同的信息对最终的情感进行预测。本文主要工作可总结如下:1.本文研究的主题是多模态情感识别,研究对象包括语音、文本以及视觉信息。首先针对单模态情感识别问题进行探索,以寻找适合不同模态的深层情感特征提取方法。2.对于语音情感识别任务,使用语谱图的方法来更好地对语音信号进行表征,同时提出了基于语谱图的VGG-LSTM模型,并在语音情感识别任务上取得了较好的识别性能。3.对于视觉情感分析任务,主要对人脸表情所反映的情感进行研究。考虑到眼睛、嘴巴等局部区域能更好地反映出相关表情,本文针对表情识别任务引入了一种新的特征提取模块。该模块区别于传统的卷积核,可以以一种自下而上的方式自适应地确定卷积核权重,从而对脸部的不同区域分配不同的注意力。基于该模块,本文搭建了针对表情识别任务的ATB-Net网络,取得了良好的性能。4.现有的多模态情感识别研究往往通过提取大量特征来识别情感,但过多的特征会导致一些关键特征淹没在相对不重要特征里。为解决该问题,针对音频、文本以及视觉等三种不同模态的信息,本文提出了一种全新的情感特征融合方法,即使用交叉注意力对不同模态信息间的潜在联系进行建模。实验结果表明,该算法可以取得比各单模态情感识别算法更好的性能。