随着计算机算力的不断提高,情感计算的相关研究也取得了重大突破,情绪识别作为该领域的重要分支,受到众多国内外研究者的关注。鉴于单模态情绪识别存在准确率较低的缺点,研究者提出用多模态的思想来研究情绪识别。通过采用更加全面而丰富的多模态信息,结合多种维度的特征,借助深度学习中的神经网络分析信息中的关联性和互补性,从而显著地提高了模型的准确率,增强了模型的鲁棒性。本文基于深度学习思想,主要提出了针对文本模态、音频模态和视频模态的三种情绪识别模型设计方案,在特征提取和组合层面做出了探索,并在网络结构层面进行了优化。针对多模态融合相关技术进行了改进,在决策层面进行了多模态融合。本文的主要研究工作为:（1）研究文本模态情绪识别的自然语言预处理方法和特征提取算法。对文本模态样本进行了自然语言预处理与Word2Vec嵌入操作。设计了一种双层特征提取网络,浅层由一维卷积神经网络组成,深层由长短时记忆网络组成,进行线性堆叠,用于文本模态情绪特征的提取。这种设计有效地利用了文本数据上下文间的关联信息和语序信息。针对本文提出的文本模态情绪识别算法,进行了对比实验,与现有常见算法相比,识别准确率提升了4.6%。（2）研究音频模态情绪识别的音频信号预处理方法和特征提取算法。对音频模态样本进行了音频信号预处理操作,提取了对数-梅尔谱图特征。设计了“Time-Distributed CNNs+LSTMs”网络,该设计充分利用了音频时域信息。针对本文提出的音频模态情绪识别算法,进行了对比实验,与现有常见算法相比,识别准确率提升了12.1%,同时在模型训练速度上也有明显的提高。（3）研究视频模态情绪识别的图像预处理方法和特征提取算法。对视频模态样本进行了图像预处理,提取出HOG特征。然后,利用优化后的Xception体系,构成了视频模态情绪特征提取网络的主框架,提取视频模态的深层特征。同时引入Deep ID V3网络实现对人脸特征点的提取,作为补充特征,从而使提取的视频情绪特征更加全面有效。针对本文提出的视频模态情绪识别算法,进行了对比实验,与现有常见算法相比,识别准确率提升了5%。（4）研究多模态融合的方法。综合考虑各模态的情绪表现力以及后续模态扩充需要,最终采用了晚期融合方法实现了音频和视频模态的决策层融合。基于两种不同思想进行了实验验证,其中,基于权重自适应思想的晚期融合方法,证实了多模态融合算法的优势,识别准确率在本文提出的单模态情绪识别算法最优结果基础上,又有了3.93%的提升。（5）构建AI面试平台。通过本文研究得到了三种单模态情绪识别模型,建立一个基于上述三种模型的AI面试平台,该平台为求职者在面试问题练习上提供了一种可靠的实践方式,求职者可以输入文本、音频和视频三种模态的数据,来辅助自身进行面试练习。该平台将为求职者提供情绪分析简报,帮助求职者针对性地完善自己的情绪表达。