情绪识别技术在医疗、教育、服务、交互等领域具有广泛的应用前景。作为人工智能的一个重要研究领域,情绪识别技术近年来取得了较大进步。但是,由于情绪状态本身具有较大的复杂多样性,个体情绪的表现形式又受到文化和个性的影响,情绪识别技术目前还存在识别率不高、识别效果不稳定、应用条件受限等问题。本课题主要研究基于音视频数据的情绪识别问题。在研究基于视频的面部表情识别时,分别尝试了长短时记忆神经网络(long-short term memory,LSTM)和三维卷积神经网络两种神经网络技术进行模型训练,这是因为长短时记忆神经网络多用于处理数据具有时序性的问题,三维卷积神经网络则可以挖掘图像帧与帧间的信息。首先对数据进行了预处理的操作,将截取的面部图像保存,然后提取HOG特征和几何特征。LSTM神经网络利用面部的HOG特征,几何特征以及二者的级联作为输入。三维卷积神经网络则直接利用视频图像自动生成复杂特征然后进行模型训练。音频情绪识别模型使用了人工特征提取加LSTM神经网络的方法。首先对音频数据进行预处理,然后使用Open SMILE工具提取短时过零率、短时能量和梅尔倒谱系数等特征,构建LSTM网络模型并进行训练。在建立了基于音频的情绪识别模型和基于图像的面部表情情绪识别模型基础上,利用贝叶斯方法对三个模型进行融合,输出最终的情绪分类结果。论文使用中科院发布的CHEAVD2.0数据库进行训练和测试。基于视频数据得到的模型和基于音频的情绪识别模型在不同情绪类别的分类能力上有所不同,各自有一定的优势。实验结果显示,多模态融合后的识别率有明显提高。