异质图像合成是指对各种不同来源人脸图像之间进行转化与合成,比如不同光照变化下相机拍摄的人脸照片、画家手绘的素描画像、软件合成的人脸照片以及红外成像设备采集到的红外图像。近年来,应用在数字娱乐领域的异质图像合成以及应用在执法领域中的素描画像的合成与识别受到了极大的关注。人脸画像合成主要是指通过输入的照片生成相应的素描画像,主要通过一些合成方法对画像-照片之间的复杂映射关系进行建模,并利用所学习到的映射关系来合成输入照片所对应的素描画像。在理想情况下,合成的画像或照片图像应该保留更多的外观纹理,并且越逼真越好。这样,它才具有良好的视觉感知质量和较高的识别精度。鉴于此,本文基于深度学习方法开展关于人脸画像合成和识别的相关研究。首先,本文对一些典型的人脸画像合成方法进行了全面的回顾和比较。目前尚未见关于人脸画像合成方法的实验对比和分析的研究。鉴于合成过程与训练模型相关联,现有方法可以分为两大基本类型:数据驱动的方法和模型驱动的方法。根据人脸画像合成过程,数据驱动方法,又称为基于样本的方法,一般包含四个步骤:图像块表示、近邻选择、权重计算以及图像块拼接。而模型驱动方法则直接学习人脸照片和画像之间的映射关系。本文介绍了现有多种画像合成典型方法,并进行了定性和定量的对比分析,得出一些有益的结论。许多现有的画像合成方法直接学习照片和画像之间的映射关系,然而这些方法难以获得画像合成过程中的细节信息。由这些传统方法生成的画像其纹理总是显得粗糙,比如,一些关键区域的细节不够细腻。为了解决这些问题,我们基于深度学习方法提出了一种新的人脸画像合成框架。它由两个基于深度学习的由粗到细的人脸合成网络组成。在第一个网络中,我们通过GAN模型得到合成画像的粗略估计,但合成画像容易受到噪声和失真的污染。为此,我们基于CNN模型对画像的细节信息进行估计。基于所得到的粗略图像和细节图像即可得到最终合成的高质量人脸画像。大量实验和分析表明,与传统的深度学习方法相比,我们所提出的方法在人脸画像生成任务中具有更好的合成效果。本文对人脸画像合成方法的性能进行客观评价。对合成图像的质量进行评价以及对合成图像的识别结果进行评价是对合成算法评价的重要手段。通过将合成图像与真实画像进行对比来分析提出了基于结构相似度的合成画像质量评价方法,并构造了加权结构相似性（SSIM）指数作为评价测度,可以是高斯加权的结构相似性指数,也可以是根据经验指定的加权方法。基于人脸画像识别结果也可以用来评价合成算法的性能及合成画像的质量。本文中,我们基于PCA、“特征脸”和基于LDA以及NLDA的方法对人脸画像进行识别实验。其中,NLDA是目前特有的基于特征降维的人脸识别算法。最后,本文总结了人脸画像合成方法的研究结果,提出了一些后续研究的建议,也为未来的研究指出了一些可能的方向。