伴随着深度学习方法的飞速发展,人脸表情识别方法同样获得了快速发展,但是其仍旧面临着不少难题。对于不同的人类个体来说,即便是表达相同类别的表情,也会存在一定的差异,并且在实际生活中,人们在表达表情的同时还会伴随着言语,这些言语会造成口型的变化从而带来视觉差异,这种情况造成的表情类内差异性问题会严重影响到识别的准确率。同时,表情是一个动态变化的过程,以往使用二维卷积神经网络对单帧图像进行特征提取,忽略了表情变化过程中的时序信息,造成了特征信息的浪费,同样会影响表情识别的准确率。为了解决上述问题,本文分别提出了应对方法,并将这些方法相结合提出了一种双分支网络人脸表情识别方法。本文的主要工作内容包含以下三部分:（1）针对表情类内差异性问题,本文提出了一种从输入数据入手的方法,通过舍弃表情类内差异最大的嘴部区域图像,减少干扰特征。基于3组对比实验,对于在实验室条件下采集的数据,本方法只能提高少数表情类别的识别准确率,但是对来自实际生活中的表情数据,能够提升50%表情类别的识别准确率。（2）针对表情变化过程中时序信息浪费问题,本文使用三维卷积神经网络对表情图像序列进行特征提取,在保证空间特征提取能力的情况下,还可以提取到序列蕴含的时序信息。同时,结合表情类内差异性问题的应对方法,本文提出了一种双分支网络结构,该网络利用两个分支分别缓解前文提到的问题。基于2组实验,本文提出的网络能够在CK+数据集以及Oulu CASIA数据集上分别取得98.71%和92.52%的表情识别准确率。（3）在双分支网络人脸表情识别方法的基础上,本文设计并实现了一个实时人脸表情识别系统,该系统由机器人和手机APP两个部分组成,并以ROS通信机制作为主要的通信方式。用户完成手机APP与机器人的绑定后,可以通过手机APP观察到机器人实时的人脸表情识别结果。