论文部分内容阅读
人脸超分辨重建技术(Face Super-Resolution,Face SR)是指利用低分辨人脸图像和人脸固有的属性重建高分辨人脸图像的技术。作为人脸图像处理技术和图像超分辨重建(Super-Resolution,SR)技术的重要组成部分,Face SR—直是图像视觉领域的研究热点。在实际场景中,由于光照、面部表情、拍摄环境等因素的影响,人脸图像高频信息损失严重,人脸细部特征重建一直是Face SR研究中的难点问题。近年来,基于学习的Face SR方法可以有效地利用先验信息,在提高人脸图像的重建质量方面取得了重要进展,引起了学者的广泛关注;新的生成对抗式网络(Generative Adversarial Network,GAN)的出现,也给 Face SR 提供了有效的技术手段,使得相关Face SR方法能够在信息严重缺失的条件下重建自然、高质量的人脸图像。在此背景下,本文在GAN网络基础上,研究了基于深度学习方法的Face SR技术,具体工作如下:(1)针对人脸先验信息的有效表达问题,提出了一种基于深度网络的人脸组件语义先验的表达方法。该方法利用语义分割概率图(Semantic Segmentation Probability,SSP)的技术,定义了 Face SR中人脸图像区域组件的概率属性及先验信息的表达方法,进而利用所定义的面部组件属性和语义先验方法中包含的组件纹理和边缘信息,有针对性的重建人脸图像的纹理和边缘,恢复细粒度、高质量的高清人脸图像。实验证明,该表达方法在现有主流的评价方法和图像的视觉效果都超过其他先验表达方法。(2)在语义先验基础上,提出了一种基于GAN的高性能Face SR方法(CSP-GAN)。该方法设计了一种新的面向Face SR的GAN网络架构,使得生成网络和判别网络能够充分利用之前定义的人脸语义先验信息。在生成网络中,设计了自定义的语义组件先验层(Component Semantic Prior,CSP),通过仿射变换技术有效地结合了包含纹理细节和形状的人脸先验信息,这种组件语义信息和图像特征的前馈调制方法,改进了生成网络的训练方式,提高了重建性能;在判别网络中,设计了一种语义判别模块,分别判断图像的语义类别和属性,进而通过组件语义先验的反馈,生成高质量的人脸组件形状和细粒度的组件纹理。实验证明,本文提出的CSP-GAN能够有效地利用先验中的人脸信息重建高质量的高清人脸图像。综上所述,本文提出的基于GAN的Face SR能够有效利用训练数据中提取的语义先验信息,实现了细粒度的高清人脸图像重建,具有良好的应用前景。