情感识别作为人机交互的重要一环,得到了研究者们越来越多的关注。研究情感识别系统,使计算机能够自动识别人们的情绪,这在人机交互、刑侦司法、智能车载系统等领域都具有重要意义。人们一般会通过人脸表情、语音和身体姿态的变化来表达情绪,因此深入如何融合诸多模态的情感识别算法对情感识别课题的研究具有极大的推动作用。本文主要研究了基于深度学习的人脸表情识别算法,基于机器学习和深度学习的语音情感识别算法和基于人脸表情和语音的多模态情感识别算法。本文主要工作内容如下:(1)学习了情感识别的研究背景和意义。从特征提取和分类识别这两大块入手,总结了人脸表情识别和语音情感识别的发展历程和现状,最后介绍了国内外在多模态情感融合课题上的相关研究成果。(2)介绍了人脸表情识别数据库。详述了图像预处理算法和人脸表情常用的特征算子。然后介绍了卷积神经网络和循环神经网络,详细介绍了用作视频分析的3D卷积神经网络,3DCNN既能提取单幅图像的空间特征,同时又能提取图像序列中的时序信息,被广泛应用于视频分析领域,本文首次将3DCNN用于视频人脸表情识别。最后将传统算法和深度学习模型在主流人脸数据库FER2013、CK+和eNTERFACE’05做了实验,实验表明3DCNN在多种算法的比较中取得了最好的表现,而且采用3DCNN有利于后续的多模态融合。(3)从语音情感识别的特征入手,介绍了短时能量、短时过零率、共振峰、基音频率等特征,详细介绍了语谱图的相关知识。其次回顾了语音情感识别算法,主要是机器学习中的PCA、SVM、softmax回归和决策树算法。最后介绍了语音情感数据库CASIA库和eNTERFACE’05库,最后在数据库上进行相关算法的实验对比,结果显示基于语谱图和卷积神经网络的算法取得最优的表现,同时经过格点搜索后的SVM算法也取得了不错的成绩。(4)详述了特征层融合与决策层融合算法,重点介绍了D-S证据理论,并在主流数据库上做了相关实验分析,实验显示,融合了两种模态的情感识别系统的表现优于单模态情感识别系统。未来随着多模态情感数据集的扩增以及相关研究的深入,多模态情感识别技术必将得到进一步发展。