人脸编辑是计算机视觉中的一个重要任务,旨在对给定的人脸进行指定目的的编辑,以获得高质量的目标图像,它在数字娱乐化,人脸识别和安防等领域中具有广泛应用。本文的人脸编辑工作包含人脸旋转的多视角生成,人脸任意表情说话图像的生成两部分。传统的方法往往借助人脸3D模型来实现人脸编辑,但这类方法在人脸姿态和表情变化过大时,原图中人脸的自遮挡会导致得到的图像存在严重的纹理缺失。近期工作将深度学习中的生成对抗网络应用于人脸编辑,取得了不错的效果。然而,这些方法往往利用深度神经网络来学习输入人脸和目标人脸的简单像素映射关系,忽视了人脸姿态或表情变化所包含的空间几何变换信息,因此,在输入人脸和目标人脸之间,姿态或表情差距过大时,图像的像素内容发生了巨大改变,网络很难对其中复杂的人脸几何变化进行学习和建模,从而导致了生成的目标人脸存在身份信息丢失和细节丢失的问题。为了解决上述问题,本文创新性的将人脸几何先验知识应用于生成对抗网络中,以实现网络对复杂人脸几何形变的建模。针对人脸旋转的多视角生成中大姿态变化的人脸生成问题,本文提出了一个基于门控可变形的多视角人脸生成网络,通过引入可变形卷积中的像素偏移场,我们可以对姿态改变带来的图像像素的偏移进行建模,并将其作为重要的几何先验知识来指导模型对图像特征进行形变。为了强化网络对于不同姿态变化的鲁棒性,本文使用一种软门控机制,根据原始人脸和目标人脸姿态变化的大小,实现对原始人脸特征和形变人脸特征不同程度的融合,提升网络对不同姿态人脸的生成能力。针对说话头像生成中人脸身份信息丢失的问题,本文提出了一个融合3D人脸结构先验的两阶段网络,通过将3D人脸模型渲染结果作为人脸结构先验信息融入网络,加强了网络对生成人脸的身份保持能力。另外,我们引入了注意力机制,以消除由跳跃连接带来的噪声特征,在降低网络学习难度的同时,提升了生成人脸的逼真度,清晰度和身份一致性。本文在多个公开人脸数据集上进行了充分的主客观实验,实验结果证实了帮我们所提方法的有效性。