随着对自动情感识别系统的需求日益增长,情感识别的深入研究越来越重要。近年来,硬件和深度学习方法高速发展,自动情感识别性能不断提高。由于情感的抽象概念和多重表达,自动情感识别仍然是一项极具挑战性的任务。目前,情感识别的传统方法一是主要集中在提取不同类型的手工特征上。然后依靠人工手动标注视频的情感内容来达到情感识别的目的,但手工制作的特征总是需要特定任务的领域知识,而设计合适的特性可能更耗时。因此,探索最有效的基于自主提取特征并学习分类的方法用于情感识别成为大多数作品的核心问题;二是大多采用单模态情感识别,实际上情感表达是由多种情感模态共同完成,例如面部表情,语音,姿态等,但人类表达情感最直接的方式主要为语音和表情,单一模态的表达虽也能识别情感,却具有一定的局限性,易受周围环境的影响,鲁棒性低,利用多模态情感信息的互补来提高识别效果也成为当下研究热点。因此,为了解决传统情感识别方法中特征提取耗时长、鲁棒性差、识别率低等问题,本文提出了一种基于深度学习的多模态情感识别方法,主要研究内容如下:（1）各模态情感数据库的数据预处理:对于语音信号,通过一系列预处理操作将一维静态梅尔频谱图转化为三维梅尔频谱图;对于表情信号,通过运用多目标定位检测识别算法提取识别区域,进行剪裁去除冗余信息。（2）语音情感特征提取:首先研究了一种基于Alex Net改进的卷积神经网络的识别方法;由于语音信号是一种时序信号,为了捕捉音频中前后的语序关系,运用长短期记忆神经网络来提取时序特征;由于LSTM无法满足长时序的准确性,提出了前馈序列记忆神经网络来充分显示时序特征。为了将各网络的优点进行集成来达到强化情感识别的效果,提出一种基于残差卷积、长短期记忆网络和前馈序列记忆神经网络相结合的语音情感识别方法。（3）视频表情情感特征提取:本文研究了一种基于三维卷积神经网络的表情识别方法。针对深层次的3DCNN在特征提取方面更为有效,在网络中添加残差块以简化对深层网络的训练;针对参数多且计算效率低的问题,提出一种伪三维卷积网络来缩减参数,并通过卷积块之间的密集连接和并行特征提取来丰富特征信息,进而研究出一种新型的并行密集三维卷积残差网络算法。（4）多模态情感特征融合:将多模态数据库中的人脸表情和音频作为两类模态,研究基于特征层和决策层的不同模态融合方式,旨在改进传统的多模态融合方法,提出了将特征层和决策层两种融合方式相结合的多模态情感识别方法,实验结果表明多模态情感识别方法的性能明显优于单模态情感识别方法。