人脸作为人类最具表现力和个性化的外在特征,是人们在相互沟通交流过程中用来表达情感的直接载体。面部表情和唇部姿态相结合,可以传递更多有效的信息,从而大幅度提升人们对语言的理解。口型与语音的同步很大程度上决定了人脸动画的优劣,所以借助音频中讲话人的音调、情感等因素,可生成逼真自然的人脸说话视频。音频驱动的人脸视频生成技术可以提高在线教育辅导、媒体新闻播报、影视剧编辑修正、大型三维游戏制作等方面的制作效率,提升用户视听层面的感受,为制作方和用户双方节省不必要的时间开销。因此,基于音频驱动人脸视频生成技术是目前比较具有现实意义和价值的研究。针对以上背景,本文将基于音频驱动的视频生成方法进行研究与设计,人脸说话视频包含三个流程模块,分别为:基于弱监督学习的三维人脸重构、基于音频驱动的人脸图像生成以及基于音频驱动的视频生成,使生成的人脸说话视频具备音视同步且人脸逼真自然的效果。论文主要完成以下工作:1.研究三维人脸重构方法,基于弱监督学习设计并实现输入人脸的三维人脸重构,此方法不使用额外的标签信息,将检测得到的人脸关键点位置信息作为弱监督信号,通过对参数提取网络的学习训练,最终得到与输入图像相似的三维人脸图像。2.研究音频信息与人脸图像间的相关性,设计并实现了基于音频信息到人脸表情和姿态参数的映射网络,该网络采用长短期记忆网络的原理,使参数间的映射更加准确。将得到的人脸表情和姿态参数与保存的三维人脸参数相融合,最终生成含有目标口型的人脸图像。3.研究人脸图像与视频帧背景间的匹配方法,提出一种可保证生成视频中含有自然人脸姿态的背景帧匹配方法,可对输入视频中局部人脸姿态进行保留,使生成的人脸视频帧足够自然。4.研究人脸视频生成方法,基于生成对抗网络的原理,提出一种可针对局部图像进行风格迁移的网络模型及损失函数,使生成的人脸视频帧自然逼真,生成的人脸视频流畅清晰。