论文部分内容阅读
人脸图像是计算机视觉领域中最常见的信息载体，承载着丰富的身份特征信息。随着人脸图像采集技术的不断发展，人脸图像的表现形态更为丰富，例如相机拍摄的可见光人脸图像、画师绘制的素描画像、电脑制作的人脸卡通图像、近红外成像仪拍摄的近红外人脸图像、热红外成像仪拍摄的热红外人脸图像，均为人脸图像的表现形态。不同的人脸图像表现形态构成了不同的人脸图像域。同一目标的不同人脸图像域之间的信息既存在共性也存在个性，提供了对目标的不同视角的刻画与描述。跨域人脸图像重建，旨在将目标在某一图像域的人脸图像重构为其它图像域的人脸图像，既能丰富对同一目标在不同人脸图像域的人脸信息表示，也能减少同一目标在不同人脸图像域的表示差异，在社会公共安全与社交娱乐等领域具有重要的研究意义和应用价值。
跨域人脸图像重建的研究重点为对同一目标在不同图像域的共性人脸信息(如人脸身份信息、人脸结构信息)与个性人脸信息(如人脸模态信息、人脸纹理信息)的表示与处理。其难点在于如何在保持共性人脸信息不损失的情况下将个性人脸信息在不同的人脸图像域之间进行转换。深度学习的兴起与发展为该领域带来了巨大的活力，本文以深度学习为理论框架，研究知识表示与迁移在跨域人脸图像重建领域的应用，提出一系列跨域人脸图像重建新方法。本文取得的主要研究成果概括如下：
1.提出一种基于深度特征表示与概率图模型的跨域人脸图像重建方法。现有的基于样例的跨域人脸图像重建方法在对人脸图像块进行特征表示时，往往仅使用图像块的原始像素灰度值作为图像块的特征，或者使用一些人为设计的特征提取算子提取图像块的表征。然而，这些低等级的特征表示鲁棒性差，容易受到光照变化和杂乱背景等噪声干扰，最终导致跨域人脸图像重建结果质量较差。针对这一问题，提出通过深度卷积网络提取人脸图像块的深度特征表示作为图像块的特征。此外，结合概率图模型，对图像块深度特征表示通道权值与图像块重构权值进行联合建模，通过交替优化策略对模型进行优化，从而实现对环境噪声鲁棒的跨域人脸图像重建。实验结果表明该方法相比现有方法在重建人脸图像质量、人脸结构信息保持、人脸身份信息保持以及对光照变化与杂乱背景等环境噪声的鲁棒性上均有优势和提升。
2.提出一种基于协同信息迁移的跨域人脸图像重建方法。现有的基于深度学习的跨域人脸图像重建方法虽然在重建速度与重建图像逼真度上取得了一定的进展，却存在人脸身份信息损失的问题，表现为目标图像域重建人脸图像在人脸内容上与源图像域人脸图像存在偏差，人脸识别率降低。针对这一问题，提出通过相互迁移两个对偶重建网络的协同信息，得到两个人脸图像域的中间态隐含域，使两个对偶网络在重建过程中都会经过这个学习到的隐含域，通过施加隐含域的约束，使得训练得到的两个对偶网络更加对称，更好地保持人脸共性信息。实验结果表明该方法相比现有方法能够学习得到更加对称的重建映射，在重建逼真图像的同时，更好的保持人脸内容、身份信息。
3.提出一种基于知识迁移的跨域人脸图像重建方法。在跨域人脸图像重建任务中，要将图像在两个图像域之间进行映射转换，为了训练得到合理的映射关系，需要大量的训练数据。现有的基于深度学习的跨域人脸图像重建方法存在的主要问题是跨域人脸图像成对训练样本不充足，模型无法对映射关系进行充分的学习。针对这一问题，提出深度知识迁移框架，通过迁移与跨域人脸图像重建任务相似，且训练数据充足的其它任务中的知识，来指导跨域人脸图像重建任务的训练，从而获得更合理的映射关系。此外，通过相互迁移两个对偶的跨域人脸图像重建任务的知识，进一步提升知识迁移监督效果。实验结果表明该方法相比现有方法能够在不充足的训练数据下得到更好的重建映射，从而获得更高质量的重建人脸图像。
4.提出一种基于人脸标签信息迁移的跨域人脸图像重建方法。跨域人脸图像重建任务的关键在保持人脸身份、结构信息不损失的情况下重建出属于不同图像域的个性信息。现有的基于深度学习的跨域人脸图像重建方法存在的主要问题是基于编码解码结构的深度卷积网络会损失人脸图像的结构信息，导致重建人脸图像身份信息丢失以及视觉效果降低。针对这一问题，提出通过人脸分析模型引入人脸标签信息，并设计基于人脸标签信息的跨域人脸图像生成对抗网络，将人脸标签信息迁移至生成网络与判别网络中，以保持结构信息，从而获得更合理的映射关系。实验结果表明该方法相比现有方法能够在保持人脸空间结构信息的同时提升重建人脸图像的视觉效果。
5.提出跨域人脸图像重建应用框架。所提出的不同跨域人脸图像重建方法是针对不同特定问题的，然而在实际应用中，往往是多种问题同时存在。因此，提出跨域人脸图像重建应用框架，融合针对不同问题提出的跨域人脸图像重建方法，以应用于实际跨域人脸图像重建任务中。实验结果表明，所提跨域人脸图像重建框架在人脸老化、人脸美妆、人脸艺术风格肖像生成等应用上均取得了满意的重建效果，表明了所构建的跨域人脸图像重建应用框架在实际应用中的有效性。
跨域人脸图像重建的研究重点为对同一目标在不同图像域的共性人脸信息(如人脸身份信息、人脸结构信息)与个性人脸信息(如人脸模态信息、人脸纹理信息)的表示与处理。其难点在于如何在保持共性人脸信息不损失的情况下将个性人脸信息在不同的人脸图像域之间进行转换。深度学习的兴起与发展为该领域带来了巨大的活力，本文以深度学习为理论框架，研究知识表示与迁移在跨域人脸图像重建领域的应用，提出一系列跨域人脸图像重建新方法。本文取得的主要研究成果概括如下：
1.提出一种基于深度特征表示与概率图模型的跨域人脸图像重建方法。现有的基于样例的跨域人脸图像重建方法在对人脸图像块进行特征表示时，往往仅使用图像块的原始像素灰度值作为图像块的特征，或者使用一些人为设计的特征提取算子提取图像块的表征。然而，这些低等级的特征表示鲁棒性差，容易受到光照变化和杂乱背景等噪声干扰，最终导致跨域人脸图像重建结果质量较差。针对这一问题，提出通过深度卷积网络提取人脸图像块的深度特征表示作为图像块的特征。此外，结合概率图模型，对图像块深度特征表示通道权值与图像块重构权值进行联合建模，通过交替优化策略对模型进行优化，从而实现对环境噪声鲁棒的跨域人脸图像重建。实验结果表明该方法相比现有方法在重建人脸图像质量、人脸结构信息保持、人脸身份信息保持以及对光照变化与杂乱背景等环境噪声的鲁棒性上均有优势和提升。
2.提出一种基于协同信息迁移的跨域人脸图像重建方法。现有的基于深度学习的跨域人脸图像重建方法虽然在重建速度与重建图像逼真度上取得了一定的进展，却存在人脸身份信息损失的问题，表现为目标图像域重建人脸图像在人脸内容上与源图像域人脸图像存在偏差，人脸识别率降低。针对这一问题，提出通过相互迁移两个对偶重建网络的协同信息，得到两个人脸图像域的中间态隐含域，使两个对偶网络在重建过程中都会经过这个学习到的隐含域，通过施加隐含域的约束，使得训练得到的两个对偶网络更加对称，更好地保持人脸共性信息。实验结果表明该方法相比现有方法能够学习得到更加对称的重建映射，在重建逼真图像的同时，更好的保持人脸内容、身份信息。
3.提出一种基于知识迁移的跨域人脸图像重建方法。在跨域人脸图像重建任务中，要将图像在两个图像域之间进行映射转换，为了训练得到合理的映射关系，需要大量的训练数据。现有的基于深度学习的跨域人脸图像重建方法存在的主要问题是跨域人脸图像成对训练样本不充足，模型无法对映射关系进行充分的学习。针对这一问题，提出深度知识迁移框架，通过迁移与跨域人脸图像重建任务相似，且训练数据充足的其它任务中的知识，来指导跨域人脸图像重建任务的训练，从而获得更合理的映射关系。此外，通过相互迁移两个对偶的跨域人脸图像重建任务的知识，进一步提升知识迁移监督效果。实验结果表明该方法相比现有方法能够在不充足的训练数据下得到更好的重建映射，从而获得更高质量的重建人脸图像。
4.提出一种基于人脸标签信息迁移的跨域人脸图像重建方法。跨域人脸图像重建任务的关键在保持人脸身份、结构信息不损失的情况下重建出属于不同图像域的个性信息。现有的基于深度学习的跨域人脸图像重建方法存在的主要问题是基于编码解码结构的深度卷积网络会损失人脸图像的结构信息，导致重建人脸图像身份信息丢失以及视觉效果降低。针对这一问题，提出通过人脸分析模型引入人脸标签信息，并设计基于人脸标签信息的跨域人脸图像生成对抗网络，将人脸标签信息迁移至生成网络与判别网络中，以保持结构信息，从而获得更合理的映射关系。实验结果表明该方法相比现有方法能够在保持人脸空间结构信息的同时提升重建人脸图像的视觉效果。
5.提出跨域人脸图像重建应用框架。所提出的不同跨域人脸图像重建方法是针对不同特定问题的，然而在实际应用中，往往是多种问题同时存在。因此，提出跨域人脸图像重建应用框架，融合针对不同问题提出的跨域人脸图像重建方法，以应用于实际跨域人脸图像重建任务中。实验结果表明，所提跨域人脸图像重建框架在人脸老化、人脸美妆、人脸艺术风格肖像生成等应用上均取得了满意的重建效果，表明了所构建的跨域人脸图像重建应用框架在实际应用中的有效性。