论文部分内容阅读
情感是人类的一种复杂心理和生理现象,情感渗透进了人类生存和生活的方方面面,通过生理信号进行情感计算的研究目的是为了通过对生理信号进行分析从而识别人们的情感状态。本文的主要创新点可以概括为以下几个方面:(1)用希尔伯特黄变换方法提取脑电信号时频域特征,随后通过高斯核函数支持向量机方法对特征进行情感分类识别研究。具体的过程是,首先我们用经验模态分解法对原始脑电信号进行分解,随后对本征模函数按照不同的时长进行时间窗口划分,随后提取窗口内信号的功率谱作为生理特征。在对生理特征进行情感分类阶段,用高斯核函数支持向量机的方法进行分类识别。将此方法用在DEAP数据集上进行验证发现,我们的方法对应的情感分类精度比之前的研究和其它基线方法的分类精确度更高。同时,对不同个体被试的情感分类结果进行对比分析发现不同被试对于相同的刺激产生的情感是有差别的;同时,通过对同一被试不同频段脑电信号对应的情感分类精确度进行对比分析发现,在清醒状态下,被试脑电信号高频率子波提取出的生理特征对应的情感分类准确度比低频子波对应的分类精确度更高。(2)提出了脑电信号多维度特征的平面融合方法,以及相对应的平面特征提取方法和情感分类识别方法。脑电信号的多维度特征包括频域维度特征、空间维度特征和时间维度特征。脑电多维度特征平面融合方法包含三个步骤:第一步,提取不同时间窗口内脑电信号在不同测试电极的频域特征;第二步,通过我们提出的映射方法,将频域特征按照脑电电极空间分布规律映射成一个二维图片;第三步,根据时间窗口的先后顺序将生成的二维图片进行排列,从而形成一个图片序列来表现脑电信号在不同刺激状态下的特征。脑电多维度特征的提取方法采用了深度卷积神经网络进行特征的自动提取,提取出的特征通过LSTM循环神经网络进行情感分类识别。文中将深度卷积神经网络和LSTM循环神经网络进行融合,形成了一个混合深度神经网络。模型验证阶段采用DEAP数据集作为训练集、测试集和验证集进行训练。为了增加训练样本,我们采用了向原有图像训练集添加噪声的方法将原有的图像集进行了扩展。通过对比情感识别精确度,结果说明本文提出的方法有效。对于实验结果的分析发现,以3秒钟为时长窗口生成的脑电特征序列对应了较高的情感分类准确率;其次,脑电特征帧中FP1点和FP2点的细节变化对于整个情感分类准确率的影响较大。(3)对于通过多模态生理信号进行情感识别的研究,本文提出了一种用栈式自编码神经网络的方法对多模态生理特征进行信息融合和信息压缩。在特征融合阶段,首先提取不同模态生理信号的频域特征作为原始生理特征,随后对不同模态的特征进行拼接,对拼接后的特征通过栈式自编码神经网络进行信息压缩和特征融合;对融合特征本文采用LSTM循环神经网络对其进行情感分类识别。结果发现,多模态融合特征的对应的情感分类识别准确率比单模态特征情感分类识别准确率要高。说明通过多模态生理特征融合方法得到了更加丰富的情感分类特征,特征融合的方法是有效的。(4)本文设计了一个基于可穿戴脑电采集设备和智能移动设备的脑电信号采集系统,主要的功能是用来记录被试长周期实验过程中的脑电信号和POMS量表。随后,将脑电信号的相关特征与POMS量表的相关指标进行关联分析,以期发现人们在无刺激状态下通过脑电信号反映出来的精神变化。实验一共采集了8个被试7天的静息态脑电信号,通过关联分析得到脑电特征与POMS量表分量之间的Pearson相关系数。实验结果表明前额叶FP1位置点的脑电信号与POMS情绪状态量表的情绪分量之间存在显著相关关系。例如,愤怒分量与脑电特征之间呈现出了显著正相关的关系,自我分量有4个出现显著的负相关,而其它的分量并没有出现显著相关。