随着社会的快速发展,人们承受着来自各方的压力,患有焦虑症的概率也越来越大。为了及时制定治疗方案,对焦虑症的精准识别就至关重要。但是当下对于焦虑症的识别,大多数只是依赖医生的临床经验和相关的自评量表。因为社会对精神疾病的污名化,很多就诊者会刻意隐瞒自己真实的心理状态,为医生提供较为主观的信息,导致误判和误诊时有发生。近年来,随着认知科学和行为学的快速发展,脑电信号和眼动信号由于能够反映大脑的功能活动以及人的注意力偏向而被广泛应用于焦虑症的检测。但是单模态数据很容易受到噪音干扰、数据缺失等因素的影响,本文从多模态融合的角度出发,充分利用脑电信号和眼动信号的相关性来获得它们之间的协同表示,从而实现比单模态更准确的焦虑症识别。本文主要研究工作和成果包括:(1)提出一种基于组稀疏典型相关分析的多模态融合方法:因为每个脑区的结构和功能是异质的,所以同一脑区具有类似功能的脑电信号在刺激过程中会发生相似的变化,且同一脑区的脑电特征具有较强的相关性;同时,同一类别的眼动信号之间的关联性是高于和其他类别特征的关联性。为了充分建模两种信号之间的相关性进而生成更具有特异性的协同融合表示,本文提出了一种基于组稀疏典型相关分析(Group Sparse Canonical Correlation Analysis,GSCCA)的多模态融合方法,该方法首先将脑电信号和眼动信号分别划分为13组和4组,进而结合GSCCA来建模两种信号之间的相关性,不仅可以避免由典型相关分析(Canonical Correlation Analysis,CCA)方法造成的过拟合问题,也可以充分利用脑电和眼动数据之间的组结构信息来得到准确的焦虑症识别。(2)提出一种基于核空间组稀疏典型相关分析的多模态融合方法:基于GSCCA的多模态融合方法虽然可以很好地利用了脑电和眼动之间的相关性和它们本身的组结构信息,但是其主要还是建模两种信号之间的线性相关性。为了进一步考察脑电与眼动信号之间的非线性复杂关系,本文进一步提出一种基于核空间组稀疏典型相关分析方法(Kernel Group Sparse Canonical Correlation Analysis,K-GSCCA)的多模态融合方法。该方法利用高斯核函数将脑电和眼动的数据先变换到核空间,有效融合脑电与眼动信号并生成了更为有效的非线性协同融合表示,进一步提升了对于焦虑症的分类识别性能。(3)通过从HBN数据库中选取92名被试(其中45名焦虑被试,47名正常被试)对上述两种融合模型进行性能验证,实验结果表明:本文所提出的基于GSCCA和K-GSCCA的多模态融合方法都具有一定的优势,基于SVM分类可得到的准确率最高为77.93%。另外,本文完成了不同频段的脑电特征和眼动特征作为模型输入的相关实验,结果表明,通过优选gamma频带脑电特征并将其与眼动特征进行有效融合,结合SVM分类算法可以将焦虑症识别准确率大幅提升。尤其是在基于K-GSCCA的融合方法上准确率最高可达到87.47%。实验结果既验证了gamma频带脑电特征用来区分焦虑症被试的能力,也验证了本文提出的基于GSCCA和K-GSCCA的融合方法的优势。综上所述,本文提出的基于GSCCA和K-GSCCA的多模态融合方法,首先有效利用了脑电信号和眼动信号的组结构信息,然后分别建模线性和非线性相关性,来得到更加有效的协同表示,进一步实现了更加高效的焦虑症检测。