情绪,高度概括了人们的主观认知经验,在人与人的沟通中具有重大意义。目前单模态情绪识别研究已经很成熟,但在当今,人们都是通过混合的方式来表达情绪,现有的多模态情绪识别研究在获取各个单模态的情感特征时,往往忽略了情感特征的交互性与完整性,特征的丢失导致模型在准确度和性能方面都有所欠缺;同时,在多模态数据融合的过程中,存在无关信息干扰,且没有最大化的保存各个模态之间的有效交互信息。因此本课题针对上述存在的不足,主要研究内容如下:（1）本文提出了基于卷积神经网路的听觉提取方法,通过端到端的方法解决了特征丢失的问题,也提高了特征提取的准确度和性能。具体做法是在对语音信号进行预处理后,在一个联合训练的模型中学习特征提取和回归步骤,通过对比选择更能代表情绪特点的语音特征合集作为特征提取目标,运用卷积神经网络从语音中提取特征。实验结果验证了该方法的有效性。（2）本文提出了基于注意力机制的视觉提取方法,运用改进后的注意力机制与卷积神经网络相结合的方式,有效减少了无关信息的干扰。具体做法是将卷积快注意模块插入到卷积神经网络中,对卷积层输出的特征图进行注意力加权计算,通过神经网络算出梯度,最后经过一个全连接层转换为一维向量,得到最终需要的图像特征表示。通过实验表明注意力机制有效提高了模型的性能。（3）本文提出了基于注意力神经网络的多模态情绪识别系统（A-CNNM）,最大化地保留了有效交互信息。具体做法是运用张量融合的方法对视觉和听觉两个模态进行特征融合,用它们的张量积作为多模态数据的联合特征,并对所产生的冗余信息进行清理降重,在对上下文建模后,运用支持向量机对多模态情感数据进行情绪分类识别。实验结果表明,与现有研究方法相比,在性能上有所提升。（4）验证提出模型的有效性。本文在三个数据集中分别进行听视觉特征提取实验以及多模态情绪识别实验。实验表明,本文提出的基于注意力神经网络的多模态情绪识别系统与主流的各种方法相比,不仅在性能上有了而较大的提升,也极大地简化了算法的难度和复杂度,并且有良好的实时性。