论文部分内容阅读
近年来人机交互领域进展卓越,若实现自然人机交互,必须赋予计算机识别人类情绪的能力。目前脑电信号(Electroencephalogram,EEG)的研究已经越来越成熟,许多机器学习和模式识别算法被应用到基于EEG的情绪识别中,但情绪的产生是一种复杂的认知活动,情绪产生机理和过程还在研究中。此外面部表情也可以准确表征情感,具有丰富的特征且易于采集,表情或可用来与脑电信号共同完成更有针对性的情绪分类与识别任务,从而实现人机和谐交互。综上所述,将脑电信号应用于情感计算有着广阔前景,若使用表情信息辅助脑电信号共同支撑情绪识别任务,或将提高仅基于脑电信号进行情绪分类的单模态算法准确性。本文的主要工作如下:在设计可有效诱发积极、消极情绪的多媒体刺激材料的基础上,采集被试包含积极、消极情绪的脑电样本并同步记录其表情数据,对原始脑电信号进行预处理。并基于实验采集的表情数据建立表情识别系统Model-Facial,通过Model-Facial确定表情变化首末关键帧并完成面部表情的实时检测任务。本文建立脑电信号识别模块Model-EEG包含四个模型:WT-LSTM模型通过小波变换从EEG信号中提取四种小波特征,将上述特征输入到基于LSTM的情绪分类模型进行情绪识别,筛选出在情绪识别问题上与LSTM网络适应性最强的脑电特征。ALL-LSTM模型将预处理后的全量EEG信号输入基于LSTM的情绪分类模型进行情绪识别,平均分类准确率相较WT-LSTM模型提升13%,实验说明LSTM网络充分学习脑电信号的时序特性,可直接用于预处理后的EEG数据。模型的设计思想适用于分析非平稳时间序列,也为基于非平稳时间序列的分类问题提供解决思路。Facial-LSTM模型参照表情识别系统计算的表情变化首末关键帧,以此为起始点与结束点剪裁脑电数据,将剪裁后脑电数据输入基于LSTM的情绪分类模型中进行情绪识别,识别率相较ALL-LSTM模型提升3%,说明表情模态有助于删除包含较少甚至没有情绪特征的EEG信号,提高基于EEG的单模态情绪识别准确率。Facial-Bi-LSTM模型则是将通过表情变化首末关键帧剪裁后的脑电数据输入双向长短时记忆单元(Bi-directional LSTM,Bi-LSTM)模型中进行情绪识别,识别率和稳定性均劣于Facial-LSTM模型。考虑到脑电信号具有较强时序性,Bi-LSTM模型将脑电信号反向特征与正向判定的脑电信号融合后反而会对情绪识别造成干扰。综合以上实验结果,情绪识别效果最好的为Facial-LSTM模型,在8位被试上的平均分类准确率为89.42%。说明LSTM可充分学习EEG信号的时序特性,且表情变化时刻对定位情绪产生的时刻起参考作用。