情感的理解和表达是人类进行交流活动的重要手段。随着人工智能等领域的快速发展,智能化的人机交互需要满足用户与机器之间的“自然”交互,而达到“自然”交互的关键是让机器具有模拟人类情感认知和表达的能力。作为情感表达最直观外在形式的视觉情感信息,在情感识别研究中具有重要的研究意义。本文从视觉情感信息入手,融合面部表情和上身姿态特征实现双模态情感识别。本文的主要研究内容和创新点如下:(1)视频是由图像帧序列按时空顺序堆叠而成。本文从三维空间考虑,将视频中面部表情和上身姿态的运动变化看作是三维时空体运动,提出一种面部表情结合上身姿态的双模态情感识别方法,以有效克服单一模态情感识别的局限性,获得了更加可靠的情感识别结果。(2)针对体积局部二值模式算法应用在视频情感识别中存在运算复杂度高和识别准确率低的问题,本文提出一种时空局部二值模式矩(Temporal-Spatial Local Binary Pattern Moment,TSLBPM)的特征描述方法。首先对视频序列采用K-均值聚类得到人脸表情和上身姿态序列;然后对人脸表情和上身姿态图像分别进行均匀分块并提取TSLBPM特征,计算测试样本的特征向量与训练集中每一样本特征的欧式距离,将每一情感类别中的最小距离作为证据构造基本概率分配值;最后使用D-S证据理论融合两种模态的情感信息进行判别输出,得到最终的情感识别结果。实验结果表明,本文提出的TSLBPM算法较原始体积局部二值模式算法具有特征维数低,表征能力强,情感状态识别效果优等特点。(3)针对TSLBPM算法在局部纹理细节表达上存在的局限性,提出一种复合时空特征的双模态情感识别方法。首先在TSLBPM算法的基础上,增加自适应阈值,进行三值量化计算,提出时空局部三值模式矩(Temporal-Spatial Local Three Pattern Moment,TSLTPM)算法。实验结果表明,相比TSLBPM算法,TSLTPM对图像纹理刻画更加细腻,更有利于情感信息的充分表达。另外,为了避免单一特征表征能力的不足,加入三维梯度方向直方图特征,从图像边缘和方向对情感信息进行特征描述,与TSLTPM组合成复合时空特征。复合时空特征算法有效增强了对视频的情感信息表达能力,优于改进前的两种单一算法和相关文献中的方法,通过D-S证据理论实现信息融合,有效增强了整个系统的识别性能。