当今社会正高速向智能化社会发展,人机交互技术也因此深入社会各个领域。其中利用人脸表情数据驱动动画,在影视、医疗、安保等领域已经得到了广泛应用。由于利用光学仪器获取三维人脸数据实现成本较高,所以本文利用普通光学摄像头实时采集人脸二维图像,从中提取人脸关键点、表情信息等人脸特征,并以3DMM模型的线性表达以及BFM数据库生成的平均脸模型为基础,利用神经网络从人脸图像中估计出平均脸的形变参数,即通过参数实现模型形变,获得人脸的三维数据。在三维数据的基础上,结合设计好的面片数据,通过渲染器,即可生成3D效果图像,由于单张处理时间极短,因此可实现连续3D图像生成,从而形成3D动画。本文主要工作包括:(1)进行图像预处理。为避免光学采集人脸图像的过程中,受到光照、雾气遮挡等因素的影响,提出一种快速图像增强的方法。对于人脸检测,利用Opencv以及Dlib方法分别实现人脸的快速定位以及特征点获取。(2)实现人脸表情识别。结合CNN网络,设计出一类多卷积多池化的神经网络模型,在FER2013以及JAFFE数据库上实现高识别率。(3)实现人脸重建。本文将人脸对齐工作和人脸重建工作进行耦合,基于3DMM模型,通过改变形变参数实现人脸模型形变,通过改变投影矩阵进行人脸对齐。基于Mobile Net,设计出一种级联网络实现参数预估。设计出一种结合多种损失的损失函数,提高网络收敛性能。(4)实时3D人脸动画生成。基于普通摄像头实时获取人脸图像,根据人脸重建方法从人脸图像中获取参数,实现3DMM模型形变,利用渲染器对模型进行映射获得3D表情动画。分析了复杂光照下的3D人脸动画生成。