语音情感识别(SER;Speech Emotion Recognition)是当前研究的热点之一,旨在通过语音信号来估计情感状态的情况.语音情感识别主要的应用集中于人机交互(HCI;Human-Computer Interaction)、自闭症或抑郁症的初步诊断、极限环境下负面情绪的监测等.然而,由于适用于语音情感识别的常用特征集(paralinguistic特征)通常可能含有一些除情感识别外更适合其他任务的成分,所以在大部分原始特征集上,直接得到对于识别语音情感有效的特征较为困难.因此,本文将基于情感特征信息增强的语音情感识别作为关键问题进行研究.基于情感特征信息增强的方法通过综合考虑训练样本的信息(如,特征、标签等),构建训练学习模型.接着,保持并强化该模型中的关键情感特性,并将其用于对样本进行特征重构,生成新的特征.这些经过训练学习的特征更适用于识别或估计等目标任务,从而使系统性能得到提升.但是,由于在特征集中常常存在着大量不利于识别情感成分的干扰因素,所以不同于特征信息增强中其他一些研究较多的应用课题(如,人脸识别、说话人识别、语音识别等),解决语音信号中的情感识别问题有着较大的难度.因此,和特征信息增强相关的已有工作并不一定能够保证有效地识别语音中的情感成分,尤其在进一步实用化研究方面.本文中着重研究了作为特性保持思想细化研究课题之一的子空间学习方法,及其衍生出的各种结构,以强化语音中情感特征信息的表达.通过充分的实验验证,所提出的一系列算法能够较有效地解决语音情感识别问题.本文的主要贡献如下所述:(1)本文在多核子空间学习的结构下提出使用多尺度核,以有效地识别语音中的情感成分.算法在使用Fisher判别嵌入图的同时,针对语音情感识别提出多尺度Gaussian核,用于构建多核学习(MKL;Multiple Kernel Learning)中Gram阵的最优化线性组合.为评价所提出的 MS-KFDA(Multiscale-Kernel Fisher Discriminant Analysis)算法的识别性能,本文在多个语音情感数据库上,使用openSMILE中不同公开特征集进行了大量实验验证.实验结果表明,所提出的方法相比于常用线性维数约简方法以及单核方法,具有更好的识别性能.(2)进而,本文提出了一个使用局部惩罚判别分析的多尺度核学习方法,即MS-KLPDA(Multiscale-Kernel Locally Penalised Discriminant Analysis),并将所提出的算法用于识别语音中的情感成分.在提出的方法中,加入局部惩罚判别分析项来控制边界样本对的权重,同时使用多尺度核学习的结构.通过语音情感数据库上一系列实验证明,所提出的MS-KLPDA方法在识别语音中的情感成分时,识别性能高于MS-KFDA以及一些常用算法.(3)本文针对多核子空间学习提出了一个二维的统一框架结构,该结构在多核学习的基础上提供了多个不含有非负约束的线性组合,将多核学习和二维子空间学习相结合,这样在学习过程中保有了更多的信息.针对语音情感识别的应用背景,在此框架下使用判别嵌入图,提出了一个新算法,即广义多核判别分析(GMKDA;Generalised Multiple Kernel Discriminant Analysis),算法中同样采用所提出框架中提出的附加多核线性组合映射方向.多个基本的语音情感数据库上的实验结果表明,本文所提出的方法与一些常用方法以及子空间学习方法相比,能够针对语音情感识别的应用需求,取得更好的识别性能.(4)本文联系极限学习机(ELM;Extreme Learning Machine)和子空间学习,提出了统一的广义谱回归(GSR;Generalised Spectral Regression)框架,涵盖了图嵌入(GE;Graph Em-bedding)框架下谱回归(SR;Spectral Regression)的子空间学习,以及 ELM 方法.本文所提出的框架包括三个模块:数据映射、图分解、回归.在数据映射阶段,可以使用不同的映射方式提供对于样本不同视角的观测;在图分解阶段,设计得到的嵌入图通过谱分解求得虚拟坐标,这样就提供了一种能够更好描述数据结构的途径;最后,在回归阶段,通过回归运算将虚拟坐标同数据映射联系起来,从而完成对低维特征的学习.由该框架,提出了几种新的维数约简方法用于解决computational paralinguistics问题(如语音情感识别等).之后,本文将一些先进的算法同所提出的方法在多个语音情感数据库上进行了详细的对比实验.(5)本文提出了基于人脸局部表情的双模态情感识别方法,使用视频信号中的人脸局部表情信息进行情感特征信息增强,并结合语音信号中的paralinguistic特征,进行特征层融合来对情感状态进行分类.实验结果表明,提出的双模态情感识别方法较同条件下的单模态方法,在情感状态识别性能方面有着明显的提升.