论文部分内容阅读
人脸超分辨率(人脸幻觉),是一种从低分辨率人脸图像恢复具有高频细节的高分辨率人脸图像的技术。该技术具有重要的学术研究和实际应用价值。深度学习在计算机视觉领域大显神通,基于深度学习的人脸超分辨率方法也获得了优越的性能,但在网络结构的设计,以及对人脸图像独有的先验知识的利用等方面仍然存在一些缺陷。第一、现有利用先验知识的方法,通常先对低分辨率人脸图像进行超分辨率,得到其中间结果,然后获取中间结果的先验知识,再利用中间结果和先验知识做超分辨率,进而生成超分辨率结果。然而,获取的先验知识直接依赖于中间结果的质量,一旦中间重建结果的质量差,得到的先验知识也存在偏差。第二、在自然图像超分辨率中,通道注意力和空间注意力已经被证实有助于图像重构性能的提升,而人脸图像作为一种特殊的自然图像,注意力机制同样具有提升人脸超分辨率性能的能力,而现有的人脸超分辨率方法没有充分利用注意力机制。第三、现有人脸超分辨率网络通常是先上采样或后上采样的结构,因而在整个网络中特征图仅在高分辨率空间或低分辨率空间,特征图分辨率多样性低,影响网络性能。针对现有方法存在的问题,本文提出两种人脸超分辨率方法。1)提出一种解析图指导的多尺度注意力人脸超分辨率网络。为了避免先验知识受中间结果影响,本文直接从低分辨率人脸图像中提取人脸解析图,然后利用低分辨率人脸图像和解析图做超分辨率。在此基础上,将通道注意力和空间注意力引入到人脸超分辨率问题中,且对其进行改进,提出基于多尺度注意力机制的多尺度特征提取方法。最后,设计了Fish SRNet网络,通过生成不同分辨率的特征图,提高特征图分辨率多样性,而不将特征图限制在低分辨率空间或高分辨率空间,最终达到提高人脸超分辨率网络性能的目的。2)提出解析图指导的深度循环人脸超分辨率网络。本文发现在解析图指导的多尺度注意力人脸超分辨率网络中,解析图的引入并没有提升客观评价指标,因此本文对解析图的有效性进行深入分析,并提出一种简单有效的解析图利用方法。将低分辨率人脸图像和解析图插值成高分辨率人脸图像的大小后,拼接在一起作为网络的输入。此外,本文设计了人脸超分辨率循环网络,在不增加网络参数的前提下,提升网络性能。