随着视频监控的普及,监控视频在犯罪调查和法庭取证环节发挥着越来越重要的作用。人脸作为重要的辨识特征,是刑事视频侦查中最重要的取证依据之一。由于光照不确定、气候条件、压缩失真、摄像距离等诸多因素的影响,监控视频中捕获到人脸的分辨率和情绪度往往达不到辨识要求。人脸超分辨率技术通过分析帧间的互补信息或者图像模式先验知识补充丢失掉的细节信息,从低分辨率人脸图像中还原出对应的高分辨率清晰图像。基于一致性流形学习的超分辨率方法成为人脸超分研究的前沿热点,该方法基于高低分辨率近邻空间局部相似性假设,即高低分辨率流形空间有局部几何相似性。但是,在实际极低质量监控环境下,由于图像降质严重且降质因素来源不一,基于一致性流形学习的超分辨率方法存在以下三个挑战:(1)基于高频视觉特征的距离度量对严重降质不鲁棒;(2)独立的块表示丢失块间连续性,造成过度的局部性;(3)正向近邻投影的近邻不准确性。为此,本文从人脸图像视觉先验的鲁棒表达、人脸图像局部块上下文先验、人脸图像库近邻关系三个方面探索新的方法:(1)基于鲁棒人脸轮廓约束方法。本文针对实际高频人脸特征的距离度量对噪声不鲁棒导致高低分辨率近邻关系不一致的问题,引入鲁棒的中频视觉先验。高频特征最易受到降质因素损毁,由于中频视觉先验在遭遇降质因素时,受到的影响相对较小,信息保存较为完整,在特征表达和距离衡量上比高频信息更有优势,因此将鲁棒的中频轮廓特征与传统像素特征耦合,作为新的特征表示方法约束距离度量和近邻关系确定,增强低分辨率空间对低质量(如噪声)表达的鲁棒性,解决了由高频特征受噪声干扰造成的流形不一致的问题。在CAS-PEAL-R175[49]人脸库上的结果可以看到,提出的方法相对于Chang的邻域嵌入方法[42]在PSNR和SSIM上分别提升了 1.6dB和0.14,在主观细节恢复方面也更优。(2)基于上下文关系的连续信息学习方法。针对实际的基于局部图像块的处理方法局部性过强,将同一张人脸图像上块与块单独处理,导致在低质量条件下的块处理过程区分度下降、局部流形关系混淆的问题,本文提出利用人脸结构性强的特点,为每一个图像块建立与之有上下文关系的周边块的拓扑模型,把局部块的表征从块本身扩展到块所在的上下文拓扑关系中。因为整张人脸图像的鲁棒性比局部块强,因此这种拓扑关系对于降质因素有鲁棒作用。通过这样引入块的上下文关系,加入了周边块的信息对原有局部块进行补充,进而提升块表示的全局性,达到区分度提高,一致性增强的目的,使得构成的低分辨率空间满足高低分辨率流形一致性。在CAS-PEAL-R1[49]人脸库上的结果可以看到,提出的方法相对于Chang的邻域嵌入方法[42]在PSNR和SSIM上分别提升了 2.7dB和0.17,预测的人脸图像在主观细节方面也更优。(3)基于高阶近邻结构的反向近邻学习方法。本文以超分辨率算法为准,定义由低到高的分辨率变化方向为正向过程,反之,图像观测变化方向则为反向过程。由于高低分辨率空间固有的维度差,由低到高的正向近邻投影准确率低下。本文针对这个问题,提出利用准确的高分辨率空间挖掘近邻关系,并反向约束和修正低分辨率空间的近邻关系,达到高低分辨率近邻一致性更强的目的,使算法满足一致性流形关系设定。在CAS-PEAL-R1[49]人脸库上的结果可以看到,提出的方法相对于Chang的邻域嵌入方法[42]在PSNR和SSIM上分别提升了 2.4dB和0.15,重构出的人脸图像在主观细节重建方面也更优。综上所述,本文借鉴人类视觉感知先验刻画人脸图像的鲁棒表达特征、挖掘人脸图像的内在结构、学习人脸样本图像库近邻关系,为面向监控场景的低质量人脸图像超分辨率重建,提供了新的理论和方法。