异质人脸图像的转换指将人脸图像从一类视觉域,经过合成算法转换到另一类视觉域。随着计算机视觉和深度学习算法的不断发展,异质人脸图像转换在公安安防系统、智能美妆、社交娱乐、图片编辑等领域得到了越来越广泛的应用。鉴于深度学习在计算机图像处理领域的优势和发展,本文在异质人脸图像转换的两个应用方向上分别提出了两种基于生成对抗网络的转换方法。本文工作的主要内容如下:1.人脸素描图像与真实人脸图像的转换与识别在执法机构和数字娱乐行业中起着至关重要的作用。由于在网络训练阶段缺乏配对的人脸图片数据,加上素描与真实照片之间存在着明显的模态差异,目前人脸素描图像到真实人脸图像的转换任务仍然存在着不可解决的局限性。本文提出了一个改进的结合非监督学习的生成对抗网络框架,将素描人脸图像转化为真实人脸图像,与目前无监督学习方式下的图像到图像的转换方法相比,本文的框架利用了额外的跨域语义一致性损失函数使得输入图片的语义信息能保持在输出图片中,并将像素级的循环一致性损失函数替换为感知损失函数以生成质量更高分辨率更清晰的图像。本文结合了由PGGAN提出的生成器的镜像架构,并让它与生成对抗网络的损失函数一起训练,得到真实人脸图片的输出,为驱动相同域的输入和输出图像保持高度一致,加入了循环一致性损失函数。在两个流行的基准数据集CUHK和CUFSF上的大量实验表明,本文提出的网络在定量和定性上都取得了显著的改善。2.人脸图像的动漫风格化作为一种计算机艺术形式广泛应用在日常生活中。然而,通过手工绘制重建动漫风格的现实场景图像是非常费时费力的,并且需要具备精湛的艺术技巧。本文结合注意力机制,提出了一种无监督学习的生成对抗网络框架,利用人脸解析算法实现对关键的局部信息的重建,解决了真实人脸图像与人脸动漫风格图像没有公开配对数据集的问题。本文将语义一致性损失和原始对抗损失一起训练,以保证边缘特征和内容信息的一致性,结合循环一致性假设和感知损失函数,计算源域图像和生成的源域图像之间的损失以保证输入图像的整体特征信息的一致。另外,在注意力对抗网络中使用局部循环一致性损失函数,使得生成器将重点放在面部细节特征的生成上,生成更加精致的面部图像。