情感在人们日常交流中扮演着重要的角色,丰富的情感有助于说话人表达自己的思想。维度情感可以描述复杂微妙且连续的情感状态,它将不同的情感状态表征为一个连续的情感空间中不同的点。人类的情感表达是连续的、多模态的,因此,在维度情感识别中,基于上下文的情感识别方法越来越受到研究者的关注。现有的基于上下文的情感识别方法主要集中在情感特征上学习上下文信息,忽略了情感状态上下文信息的学习,且很少考虑模态之间的情感上下文。因此,本文主要通过情感时间上下文和情感模态上下文两个方面来研究上下文信息对维度情感识别的作用。情感时间上下文是指情感在表达过程中随时间变化的规律,包括情感特征和情感状态的连续变化,情感模态上下文是指多个模态之间所表现的情感信息的相互关联性。充分利用这两种上下文信息有助于提高维度情感识别准确率。具体研究内容如下:1)提出基于双向长短时记忆网络的层次情感时间上下文学习方法:该方法包含三个步骤。首先,对输入的低层特征通过前馈神经网络学习得到高层特征,这样可以消除低层特征的不稳定性,从而得到表征能力更好的高层特征。然后,在高层特征上通过双向长短时记忆网络学习情感特征序列的情感时间上下文信息,利用此信息对情感状态进行初步的识别。最后,通过无监督学习方法得到情感标签序列的情感时间上下文信息,利用此信息对上阶段得到初步识别结果做最终识别。本方法通过学习情感特征序列和情感标签序列的情感时间上下文信息,从而充分利用情感状态表达的连续性特点进行维度情感识别。在AVEC2015数据集上的实验结果表明,利用情感特征和情感标签两种情感时间上下文得到的识别结果要好于仅利用特征的情感时间上下文得到的识别结果。2)提出基于注意力模型的动态情感模态上下文学习方法:该方法包含两个步骤,首先采用上一方法分别基于视频与音频数据的情感时间上下文信息对维度情感状态进行初步识别,分别得到基于单模态的维度情感识别结果。然后,基于注意力模型进行情感模态上下文学习。情感模态上下文学习过程中,在每一时刻对每个模态数据通过注意力模型实时地计算出各自模态的注意力信号量,将该注意力信号量作为相应模态对情感识别的权重,进而动态地计算出当前时刻的模态上下文向量。最后将学习得到模态上下文向量输入到双向长短时记忆网络进行维度情感识别。本方法能够动态地学习情感模态上下文信息。在AVEC2015和RECOLA两个数据集上的实验结果表明,与基于单模态的识别方法相比,该方法能够提高识别准确性,而且通过注意力模型动态地学习情感模态上下文得到的识别结果好于传统的基于线性方法学习情感模态上下文得到的识别结果。3)设计并实现基于上下文的维度情感识别原型系统:采用PyQt实现了系统的图形操作界面,基于Python、Numpy、CUDA和Theano实现了系统的算法。原型系统包括数据处理、情感时间上下文学习、情感模态上下文学习三个模块。通过该原型系统的实现来验证本文所提方法的可用性。