情感计算作为人工智能的一个分支,在近年来越来越受到人们的重视。情感识别是该领域内一个核心组成部分,它基于各种测量,如面部表情、语音、生理测量及视线追踪等。其中生理测量技术因不受外界因素的影响,由神经系统的非自主激活直接控制,与其他模式相比,更加真实,受到人们的广泛关注。目前的研究主要集中在对于单一模态的研究,然而不同模态所蕴含的生理信息是可以互为补充的,对于多模态情感识别模型的研究可以使最终得到情感模型更加强健精准。本论文将从单一模态的脑电信号及外周生理信号出发,对于实验诱发的情感状态进行识别研究。以动态图片及音乐为刺激素材,将情感映射到二维的情感模型中,对四种不同的情感进行诱发,建立与情感生理信号相关的数据库。采集信号包含外周生理信号及脑电信号。对采集的生理数据进行分析,具体的分析流程包括信号预处理、特征提取及标准化、特征选择以及特征分类。采用不同的特征提取算法获取外周生理信号及脑电信号两种模态下的情感特征并利用最大相关最小冗余特征选择方法,对于筛选出的特征使用支持向量机进行情感识别的定量分析,并且分析各类特征对于最终识别的贡献。本文将多元经验模态分解引入到脑电特征分析中,实现脑电信号多通道同步分析,实验结果表明基于多元经验模态分解得到的脑电时频特征集相较于传统时域、频域特征集在情感识别上有更好的表现。本文尝试将两种模态结合,采用两类不同的特征融合方法对外周生理信号和脑电信号进行多模态情感识别,对于特征层融合方式,采用特征线性融合及多核学习的方法;对于决策层融合方式,采用传统的线性加权投票以及改进的融合策略进行分类器融合分析,经过与单模态情感状态识别结果比较,这两种融合方法的最终识别准确率均有所提升,其中,基于多核学习的特征层融合方法可以达到更好的识别效果。