基于语义分割的人脸篡改检测研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:haozhizhegogo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如今,图像生成技术获得了快速发展,假脸生成技术也应运而生。其中具有代表的技术有Deepfake、Face2Face[1]、NeuralTextures[2]等等。人们可以利用这些模型完成图像或视频中人脸的互换,甚至是生成一个不存在的人脸。这些技术主要包含三个步骤——人脸定位、人脸转换和人脸拼接。目前,人脸定位技术已经发展地十分成熟,一般的人脸定位算法主要是找到人脸上的特征点,比如鼻子、嘴巴、下巴以及眉毛等,通过抽取这些特征可以知道人脸的器官分布,完成对人脸的定位。例如,通过调用dlib库以及OpenCV的包来进提取这些特征点,也可以利用深度神经网络如CNN模型来实现定位。人脸转换主要包括对抗生成模型(GAN)和变分自编码器(VAE)等生成模型,通过训练对应的编码解码器来完成两个人之间的人脸互换。例如,VAE通过无监督的方式将人脸图像压缩成向量,再将这个向量恢复成人脸图像,如果对人A的人脸图像进行编码,再用人B的解码器对编码后的图像进行解码,就可以使B的人脸图像中人脸表情变成A的表情。而GAN则是抽取人脸的特征点,生成器用这些特征生成目标人脸图像,通过训练判别器使得判别器不能区分生成人脸和真实人脸,完成人脸的生成。Deepfake等深度学习技术愈演愈烈的同时,也带来了巨大的隐患。不得不承认换脸是人们滥用深度学习的后果。在此之前,可以在社交媒体上大胆的发布照片,例如朋友圈,微博,Facebook等,并且人们对网络新闻中的视频和图像也是较信服的。而自从这些换脸技术开源之后,可以发现有人通过换脸技术处理并发布一些虚假视频,更有甚者,利用收集到的人脸图像生成他人人脸的色情影片。因此,对抗Deepfake技术是同样重要。目前已有很多文章聚焦于反Deepfake技术领域,主流的检测方法是在真实图像和和伪造图像中训练一个二分类模型,来判别测试图像是否是生成的。这样做的缺点是模型对数据集存在依赖性,分类器无法判别对于用不同生成模型生成的数据集。卷积神经网络(CNN)通常会忽略掉图像中的传统特征,比如噪音等,使得结果表现并不是很好。针对以上存在的问题,本文主要是对主流方法做出改进来进行人脸篡改检测实验,注意到换脸之后的轮廓等边缘信息存在噪音,可以通过向深度神经网络中添加传统特征来改善结果。基于上述思想,本文主要实验工作包含如下:1.基于Xception[3]训练了一个CNN分类模型,用于对假脸以及真实人脸的判别,分别从全局图像以及人脸ROI区域进行测试。2.利用FaceForensics++中[4]模型对Deepfake Detection Challenge数据集进行测试。3.基于传统特征方法,采用JPEG压缩率特征,BAG特征以及噪音特征,进行多组对比,分析不同特征对实验结果的影响。通过上述实验,可以得到以下结论:1.目前人脸篡改检测模型对数据集具有较大的依赖性,更换数据集后,FaceForensics++中的方法表现较差,实验结果更加接近于随机预测,对新的数据集没有很好地参考价值。2.对模型进行微调并重新训练后,相较于之前实验,在一定程度上有明显改善。实验证明了,采用中值预测方法,实验结果最好。具体预测精确率为0.900左右,召回率0.85左右,整体AUC为0.748。3.在2的基础上,引入了传统特征进行预测,其中将BAG特征与ELA特征联合实验表现最好。采用双路预测方法,在之前实验的基础上实验准确率提高了3%,AUC提高了5%,说明在一定程度上,传统特征对于此类问题是有效的。
其他文献
本文对从中国东北地区土壤中分离到的8株弗氏中华根瘤菌进行了血清学和氮代谢研究。交叉凝集试验结果表明其中存在3种血清型,而Sj5与国内外目前发现的14种S.fredii接种的大豆依赖共生固氮作用
目前在我国以肌酐为氮源经代谢可产生氨和N—甲基乙内酰脲的菌株尚未见报导。本文研究了不同氮源和糖源对C.lilium生长的影响,发现微量金属离子对菌体生长及肌酐亚胺水解酶的
条纹管激光成像雷达系统中,要求输出光束变换成扇形均匀线光向目标发射。激光光源发射的原始激光束通常为圆高斯分布形态,要实现系统方案要求的宽视角扇形光束,必须对输出光
法兰克福学派对大众文化强迫性的批判,主要是基于以广播、电影、电视为代表的传统大众媒介提出的;而随着媒介背景的演变,即因特网这种新型大众媒介的介入,大众文化的强迫性明
利用光学和电子显微镜研究了色赤杨、香蕨木、香杨梅、杨梅、木麻黄、细枝木麻黄、异木麻黄、沙棘、胡颓子Frankia纯培养的形态特征并摄制了Frankia菌的光学和电镜图谱。本图
湖北大学文学院中国古代文学学科。是湖北省首批省级重点学科.1978年开始招收硕士研究生.1981年获得硕士学位授予权.2006年1月获得博士学位授予权该学位点基础较为厚实,梯队较为整齐.现有教师和科研人员共18人,其中教授8人.副教授6人.讲师4人.具有博士学位者12人;博士生导师共5人.分别为刘尊明教授、陈桐生教授、何新文教授.宋克夫教授,郭康松教授。
2016年曹文轩获得国际安徒生奖,成为首位获此殊荣的中国作家。其作品版权输出海外多个国家,被译成十多种文字,并被海外众多图书馆收藏。在其众多被输出的作品中,《青铜葵花》被译成英语、韩语、德语、法语、意大利语、斯洛文尼亚语、土耳其语等多种语言,堪称中国儿童文学作品译介的成功典范。由汪海岚翻译的《青铜葵花》英译本相继由沃克出版社和烛芯出版社出版,且该译本荣获2017年“马什儿童文学翻译奖”。本文借助图
在当前全球信息化时代下,一个组织的发展除了依赖人、财、物之外,信息的可挖掘价值也越来越高,信息化的建设对提升组织内部管理能力意义重大。对于行政事业单位来说,作为受托管理和使用公共资源的机构,更负有提供公共受托责任履行情况的相关信息以支持权力机关、社会公众等的相关决策的义务。2019年1月1日生效的《政府会计制度——行政事业单位会计科目和报表》中规定,政府财务会计和政府预算会计应当作为独立要素予以规
依据激光光束理论,基于共轴卡塞格伦望远镜系统和典型激光光束参数,利用数学软件Mathcadl4,对战术激光武器聚焦发射特性进行了计算研究,以为实际系统设计提供参考。分析发现:①最
在小学语文教学中,识字与写字的教学是语文教学内容的起点和重点,学生只有掌握了识字与写字技巧,才能够增加基础识字量,能够更好地进行书写,才能学习更加复杂的语文知识。识