微表情作为一种独特的面部表情,和一般的表情比较,通常具有如下几个特点:一、动作显现时间特别短暂,一般只有1/25s～1/3s;二、面部情绪动作强度比较低,很难被人们发觉;三、是由人类在无意识状态下产生的;四、对微表情方面的研究通常在视频资料中展开,而对普通面部宏表情的研究在单帧的图片中就可以进行。由于微表情情绪都是由人类在其自身意识没有感知的状态下自发生成的,一般很难被隐藏,能够揭示人类最为真实的情感,因而使得微表情在人类真实情感的研究中相对可靠,拥有广阔的应用场景。但是微表情情绪较为复杂,存在特征微小不易被捕捉的缺陷,采用单通道情感分析很难提升微表情的识别率;而且微表情样本数目过小,样本类别分布不均匀,搭载深度神经网络进行训练极易造成网络过拟合的问题。针对上述问题,本文设计了双通道决策信息融合网络和双通道信息交互网络两种模型来分别进行微表情识别,实验结果表明这两种网络模型均对微表情的识别率有一定程度的提升。本文主要工作如下:（1）首先介绍了几种微表情数据集及常见的微表情特征提取方法,然后将选用的微表情数据集样本进行人脸的定位与裁剪,获取合适的人脸面部图像,剔除无关的背景信息,接着对裁剪后的微表情序列图片分别进行动作放大和颜色放大,最后为给纹理特征的提取提供帧数统一化的微表情图片序列,对动作放大后的序列图片进行TIM时域插值。（2）针对单一模态的微表情识别准确率无法提高的问题,本文提出一种微表情面部颜色特征提取算法,然后将该算法提取的面部颜色特征与LBP-TOP算法提取的纹理特征进行决策信息融合,构建了一种微表情双模态情感识别模型。该模型首先采用均匀LBP-TOP算法从经过预处理的微表情数据中提取相应的纹理特征;其次计算微表情两帧序列图片的每一个像素点之间的Lab色差,由此获得面部的颜色特征,为剔除获取的颜色特征中冗余的部分对其进行嵌入式特征选择,然后分别训练两种模态的分类器,并将两种模态训练得到的分类信息根据D-S证据理论进行决策信息融合,最后得到微表情情绪分类结果。双模态的微表情情感识别率相比于单一模态的纹理信息和面部颜色信息的识别率均有提升,在CAMSEⅡ和SMIC数据库上分别提升了3.38%、16.47%和2.85%、15.95%。（3）针对小样本的微表情数据集在进行训练时由于样本数据不足进而引起的网络过拟合问题,本文构建了一种双通道信息交互网络,并对两个分支网络分别引入标签平滑损失函数,两个网络之间采用拟态损失函数进行信息交互,并对KL损失、JS损失以及Wasserstein距离损失三种拟态损失的结果进行对比分析。其中,引入标签平滑损失和Wasserstein距离损失后,Net1网络在CASMEⅡ和SMIC数据集上分别提升了7.5%、7.34%,Net2网络在CASMEⅡ和SMIC数据集上分别提升了4.9%、8.06%,标签平滑损失函数和拟态损失函数成功抑制了网络的过拟合问题,提升了网络对于微表情的识别率。