论文部分内容阅读
深度学习的迅速发展,显著提高了面部交换图像生成的质量和效率。利用Deepfake等生成的面部交换,无论是人工检测还是自动检测都很难分辨真伪。面部交换技术既可用于积极的用途,也有可能用于非法的面部伪造。因此研究最先进的面部交换技术,既是正面发展的需要,也是应对伪造滥用风险,探索伪造检测技术的需要。本文针对面部交换技术和伪造检测技术两个方面展开研究,主要内容和研究成果如下:针对现有面部交换算法面对复杂姿态或光照时伪造痕迹明显的问题,提出了一种基于三维重建的面部交换方法。首先,训练了一个端对端的位置映射图回归网络,用于实现单张图片的面部三维重建。然后,对要进行面部交换的目标图像进行三维重建,根据重建得到的三维形状,获得相应的颜色空间和顶点。最后,结合源图的颜色空间和目标图的顶点信息,渲染获得最终的面部交换图像。实验证明了基于三维重建的面部图像交换方法的有效性和鲁棒性。特别是与利用二维人脸图像进行面部交换的结果相比,该方法在复杂姿态或光照场景下生成的图像更加真实自然。针对大多数面部伪造检测算法模型复杂、训练周期长等问题,提出了一种轻量级的深度学习模型,用于检测面部伪造图像。首先,分析了 Deepfake算法的生成原理,由于Deepfake只能合成固定分辨率的面部图像,导致作为前景的面部区域与作为背景的面部区域,两者的图像压缩率不同,两者的拼接会留下明显的伪造痕迹。然后,使用误差水平分析方法来突出拼接图像的压缩率差异,生成的中间图保留了压缩率不一致的关键特征,去除了与篡改无关的大量特征。最后,构建一个二分类的深度学习模型,用于检测该图像是否是伪造。实验表明,基于该方法的卷积神经网络架构,对于面部伪造图像的检测可以达到97%以上的准确率。同VGG16,ResNet50,ResNet101 和ResNet152四种网络模型相比,该方法的模型不仅轻量化,易于训练,而且实现了更高的效率。