真实感人脸图像生成是计算机图形学的一个重要研究课题，在电影电视特效和电子游戏制作当中有广泛的应用。传统的人脸图像生成方法依赖于对目标人脸的建模和渲染，这要求用户必须具备相关的专业知识，并且整个过程会耗费大量时间和精力。一般用户在表达关于设计和编辑新内容的概念的时候，利用草图是一种有效和自然的方法。本论文主要研究基于草图的真实感人脸图像生成，对激发内容创作有着重要的研究意义。
　　随着近几年深度学习的迅猛发展，一系列基于生成对抗网络的图像到图像翻译方法涌现出来。图像到图像翻译是指以来自一个域的图像作为输入，生成另一个域的对应图像，同时保持图像当中的内容（如场景、物体和布局等）不变。通过变换训练数据，已有的图像到图像翻译模型可以应用到基于草图的真实感人脸图像生成的任务。然而，相比于一般自然图像，草图具有稀疏性、抽象性和多样性的特点，这为在图像到图像翻译框架下实现基于草图的真实感人脸图像生成带来了很多挑战。本文首先面向草图的稀疏性和粗糙性，提出了一个保持人脸结构完整性的基于草图的真实感人脸图像生成算法，然后针对普通用户草图的多样性，设计了一个增强基于草图的真实感人脸图像生成泛化能力的框架，最后探索了结合人脸属性编码和人脸草图作为输入的真实感人脸图像生成方法。本文的主要内容和创新点总结如下:
　　(1)保持人脸结构完整性的基于草图的真实感人脸图像生成
　　已有模型在以完整的草图作为输入的时候可以生成出效果不错的真实感人脸图像。然而由于草图具有抽象性和多样性，当输入草图存在部分五官结构缺失、线条细节不足时（例如:缺少眉毛），已有模型生成的人脸图像也会跟随草图而缺少相应的部位。众所周知，人脸有一套完整的结构（即:两个眼睛、一个鼻子、一个嘴巴等）。若人脸图像中不能包含完整的人脸结构，其真实感必会大打折扣。为此，本文提出了一种新的可以学习长距离依赖的条件自注意力深度神经网络模块和一种可以学习全局结构信息的多尺度判别器，使得利用草图生成的人脸图像能够更好地保持完整的人脸结构。
　　(2)基于手绘草图的真实感人脸图像生成
　　训练基于草图的真实感人脸图像生成模型需要大规模的草图数据。目前学界缺乏大规模的手绘人脸草图数据集。已有方法都是利用边缘提取等方法，从真实人脸数据集得到边缘图或者轮廓图作为合成草图来训练模型。然而，由于这些合成草图的线条与对应的真实人脸图像的边缘严格对齐，这使得有合成草图训练出来的模型的泛化性能十分有限，不能在一般用户绘制的手绘草图中取得令人满意的效果。为此，本文提出了一个对多样性较大的手绘草图鲁棒的草图到真实感人脸图像翻译模型。该模型包含一个新型的利用合成草图和变形草图进行训练的对偶生成器结构和一种可以打破生成图像与输入草图之间的边缘对齐的空间注意力池化模块，使得新的生成网络可以从不同层次细节、不同专业程度的手绘草图中抽取到合理的人脸结构，实现到真实感人脸图像空间的准确映射。
　　(3)人脸属性指导的基于草图的真实感人脸图像生成
　　利用草图生成的真实感人脸图像的形状和结构都是来源于输入草图，其他草图没有直接传递的人脸属性信息（例如:肤色和发色等）都是由模型自动生成和组合。在一些情况下，用户希望可以指定生成的人脸图像当中的人脸属性，使得生成的人脸图像更加符合用户心中的想象。为此，本文提出了一种结合人脸属性编码和人脸草图的真实感人脸图像生成算法。该算法在一般的草图到真实感人脸图像翻译模型的基础上，加入了人脸属性编码调制模块和辅助分类器，使得模型可以融合来自人脸草图的形状信息和来自人脸属性编码的外观信息，从而大大丰富了生成的人脸图像的多样性和增强生成图像的可控性，使得模型可以更加准确地生成用户所想象的人脸图像。