论文部分内容阅读
人脸图像数据是工业界和学界都非常关注的一类图像数据。大多数的工作关注的都是可见光人脸图像。而现代成像技术的不断发展提供了不同类型、不同模态的图像形态,可以称之为异质图像。以人脸图像数据为例,现有的异质人脸图像可以大致分成可见光人脸图像、近红外人脸图像、素描人脸图像、热成像人脸图像以及3D人脸图像等等。不同于先前在异质人脸图像的大部分工作重心在于异质人脸图像识别,本文探索和研究异质人脸图像生成。受益于生成对抗网络的蓬勃发展,目前已经有一些基于生成对抗网络的异质人脸图像生成工作。先前基于生成对抗网络的异质人脸图像生成工作大多基于循环生成对抗网络(Cycle GAN[1])框架,引入人脸身份作为监督信息,引入成对的异质人脸图像这一条件。基于异质人脸图像数据成对条件较难满足等情况,本文认为无监督、非成对的异质人脸图像生成是更具有挑战性和研究意义。因此,受相关工作启发,本文把异质人脸图像生成建模为一个跨域（跨模态、跨光谱）图像生成的任务。此外,基于多模态无监督图像转换(MUNIT[2])框架,本文提出了使用生成对抗网络在无监督、非成对条件下的基于表示解耦的异质人脸图像生成算法（Unsupervised Unpaired Disentangled Representation Heterogeneous Face Synthesis,UUDRHF）。该算法解耦异质人脸图像跨域无关的内容的表示和域相关的风格表示来进行建模,通过对抗损失、内容一致性损失、风格一致性损失、图像重建损失、域无关感知损失等的约束,从而进行异质人脸图像生成。在与Cycle GAN、MUNIT的对比实验中,本文通过实验定性和定量地说明其可以增强生成图像的质量。接下来,为了增强身份信息保持的能力,本文基于UUDRHF提出同样在无监督、非成对条件下的异质人脸图像生成算法（Unsupervised Unpaired Disentangled Representation Heterogeneous Face Synthesis with Identity Preserving,UU DRHF-IP）。该算法主要通过异质人脸识别任务来尽量构建域无关（相对而言）的身份特征匹配约束,同时利用能够产生确定性结果的循环一致性损失以及恒等映射损失、域无关身份特征匹配损失等约束。在与Cycle GAN、MUNIT、UUDRHF等算法的对比实验中,本文通过实验定性和定量地说明其在不明显损害图像生成质量的情况下,身份信息保持能力得到了大幅度的增强。