人脸表情识别在模式识别、情感计算等领域占据重要地位,深度学习的兴起为研究人脸表情识别带来了新的契机。这些年来,表情识别受到越来越多的关注。深度卷积神经网络虽然学习能力强,但是不适用于现实环境。而网络层数较少的神经网络运算速率快,但是表征能力不强。深度学习模型识别率与实时性的平衡问题是当前的一个难点。另外,在实验室条件下的数据集上,卷积神经网络的应用性能接近饱和。而非实验室条件下的识别性能仍待提升,主要是由于非实验室条件下的数据集中含有一定比例的遮挡、光照不足和头部姿势多变的样本。虽然深度学习的方法比人工设定特征效果好,但根据实际情况选择合适的网络仍然是一个棘手的难题。因此,本文围绕现存在的问题,提出了自己的解决方案。（1）提出了基于特征融合的轻量化卷积神经网络。将网络划分成不同的模块,分别在模块内部和模块之间加入密集连接,重复利用已有特征,保留关键信息并将信息传递到后面的网络中。网络中加入卷积核大小为1x1的卷积层和深度可分离卷积,降低网络的时间复杂度、空间复杂度。因为表情特征比较细微,联合使用Island损失函数训练卷积神经网络,扩大类间距离,减少表情类内差距。网络在保证识别率的基础上,提升识别速度,减少内存消耗。（2）设计了一种基于注意力机制的双通道卷积神经网络。利用可视化卷积神经网络技术,可视化VGGNet系列网络中不同深度网络层所提取的特征,绘制并分析权重热力图,获取对人脸表情识别率提升效果较大的网络层次信息。本文通过两个网络VGGNet11和VGGNet16提取人脸表情的局部特征和全局特征,将两种特征组合在一起得到完整的情感信息。为了提高特征信息的表达能力,在网络中加入注意力机制,根据特征重要性自动加权,抑制无效信息。除此以外,设计了损失函数保证两个网络间的一致性,进一步消除易混淆特征对识别结果的影响,实现更精准的表情识别。