情感在人们的沟通过程当中包含着重要的信息,不同情感状态对人的决策和感知的影响也是有差别的。近年来,随着人工智能科学的不断发展,赋予机器以情感智能从而实现人机和谐交互也是人工智能领域的研究热点。本文提出一种基于视觉信息和脑电信息融合的多模态情感识别研究,研究工作包含以下几个方面:（1）基于人脸表情图像的情感识别首先利用基于Haar特征的Adaboost算法对图像样本进行人脸检测和裁剪,去除人脸区域外的无关信息干扰。然后分别利用自己搭建的深度神经网络和基于迁移学习方法训练生成的深度神经网络进行表情识别,并对两种方法进行对比。最后利用二次微调VGG16模型的方法提升表情识别模型对自发表情的识别效果。实验结果表明本文的方法对自发表情的识别具有较高的鲁棒性。（2）基于脑电信号的情感识别首先对原始脑电信号去噪,然后通过小波变换和重构对脑电信号进行分频并提取出节律波微分熵特征。最后使用SVM分类器对不同节律波的微分熵特征进行分类,训练出情感识别模型。实验结果表明脑电信号中包含着丰富的情感信息,可以比较精准地反映出人的情感状态。（3）融合人脸表情和脑电信号的多模态情感识别利用注意力模型在决策层将人脸表情识别结果和脑电情感识别结果进行融合。首先由人脸表情识别模型和脑电情感识别模型得到各自的情感识别结果,然后利用注意力模型对两个识别结果的权重进行调整,建立基于人脸表情和脑电信号的多模态情感识别模型。实验结果表明融合人脸表情和脑电信号的多模态情感识别准确率要高于单一模态情感识别的准确率。