论文部分内容阅读
数字人脸图像修复指利用计算机手段将有缺损地人脸图像进行恢复的过程。按照一定的规则借助缺损区域的领域像素信息修复图像,目的在于使得观察者无法辨别出是否为缺损图像。图像修复在多个方向上都有应用,如:老旧图像复原、遮挡物移除、视频信息恢复等。传统的图像修复技术修复的图像往往会出现模糊不清、伪影等问题;当缺损区域较大时,也无法很好完成修复工作。当涉及人脸图像修复时,仅利用信息扩散原理预测缺损区域已无法达到修复要求。本文提出了基于Residual-Wasserstein生成对抗网络的人脸图像修复算法。该算法创新点在于能够非监督地从深层次网络中获取背景信息来完成图像修复。在改善了传统修复算法模糊不清等缺陷时,利用深度学习进一步提升了图像的生成与修复效果。本文主要工作如下:(1)研究生成对抗网络的训练方法与模型结构,该网络在无监督学习方面具有优秀的生成效果,却存在很多缺陷,如梯度弥散、训练过程不稳定、收敛难等问题。引入DCGAN能将生成对抗网络用于图像处理,WGAN能够解决梯度弥散、收敛难和训练易崩溃的问题。本文基于以上网络对传统的生成对抗网络进行改进并训练。(2)同时引入残差网络与谱归一化算法,本文提出了 Residual-WGAN算法构建训练网络。引入谱归一化算法在不改变参数矩阵结构的情况下使网络满足Lipschitz连续性,增强训练能力。(3)本文定义了由语境损失、感知损失和Wasserstein损失三位一体的损失函数训练网络。首先在CelebA中随机选取5万个数据输入网络进行训练,再将待修复的图像输入训练好的网络生成出一系列伪造图像。之后结合语境损失和感知损失从中选出最佳伪造图像。从而贴补进缺损图像中实现图像修复的目的。最后通过PSNR和SSIM方法验证修复效果得出,修复后图像的PSNR平均值为22.23dB,SSIM平均值为0.8609,与采用DCGAN网络修复的效果相比,PSNR与SSIM的值分别提高了 2.86dB、0.0528.也能得到更清晰的视觉效果。