论文部分内容阅读
在现实生活中,人脸图像的缺失给各行各业的相关工作带来重大困扰,而人脸图像修复技术可以智能高效地解决这个问题。人脸图像修复是一种利用数学模型算法对剩余可利用图像区域进行建模,从而推测缺损区域人脸像素分布的计算机视觉技术。人脸图像修复技术可以为各行各业节省大量的时间和人力,因此对该技术的研究具有重要的现实意义。人脸图像修复技术可广泛地用于考古、安防刑侦和人脸识别等领域。目前,深度学习在计算机视觉领域已经取得了重要的研究成果,主流的深度生成对抗模型应用于人脸修复时各有侧重点,并不能很好地修复随机大面积缺失的人脸破损图像。针对这个问题,本文在深入研究深度生成对抗模型的强大学习能力的基础上,综合现有的优秀研究成果,提出了一种新的人脸修复算法FaceR-Net。该算法的主要内容如下:(1)本文提出的FaceR-Net网络模型首先对人脸待修复图像进行预处理,采用破损区域以外的剩余像素填充破损区域,使后续的模型训练可以充分利用人脸破损图像中已知区域的先验像素分布,学习像素级别的高层次语义信息,达到使模型训练更高效而且修复效果更好的目的。通过实验对比分析表明,在经过预处理后,FaceR-Net相比于使用白噪声填充人脸破损区域的基于深度生成对抗模型的人脸修复算法,对人脸破损图像的修复效果更好。(2)基于深度卷积生成对抗网络(Deep Convolution Generative Adversarial Networks,DCGAN)的人脸修复模型使用单一判别器网络判别生成人脸图像的真伪,这使得生成器网络得不到足够的对抗信息,以致训练缓慢、训练效果不佳。本文提出的FaceR-Net算法改进了深度卷积生成对抗网络,通过增加全局判别器网络和局部判别器网络学习整个人脸图像和局部缺损区域的特征,得到全局判别损失和局部判别损失,同时抑制均方误差损失,避免网络学习过于保守,增加边缘损失,促使模型对人脸破损边缘的修复效果更连贯。通过和几种主流的基于深度生成对抗模型的人脸修复算法的对比分析,表明本文提出的方法具有更好的效果与更大的适用范围。(3)为解决人脸图像修复过程中产生的边界过渡不自然的问题,本文提出了基于泊松融合和快速行进法的两种人脸修复图像后处理算法,这两种算法均充分利用了人脸破损图像的先验信息,并与人脸修复图像融合,使最终得到的人脸修复图像更合理、更真实。通过对比实验分析表明,两种后处理算法都能得到较好的人脸修复图像融合效果。