【摘 要】
:
Deepfake换脸技术利用生成式对抗网络(Generative Adversarial Networks,GAN)学习目标视频中人脸的深层次特征,能较好地将目标人脸替换为源视频人脸,且能同步人脸表情及说话的口型。Deepfake技术迅速发展,许多Deepfake假脸视频在网络上被广泛传播,对执法、社会稳定、公共安全等领域造成危害。因此,Deepfake假脸视频检测技术的研究具有重要价值。目前,有
论文部分内容阅读
Deepfake换脸技术利用生成式对抗网络(Generative Adversarial Networks,GAN)学习目标视频中人脸的深层次特征,能较好地将目标人脸替换为源视频人脸,且能同步人脸表情及说话的口型。Deepfake技术迅速发展,许多Deepfake假脸视频在网络上被广泛传播,对执法、社会稳定、公共安全等领域造成危害。因此,Deepfake假脸视频检测技术的研究具有重要价值。目前,有监督的Deepfake假脸视频检测算法在测试集和训练集属于同一个数据域时,性能表现优秀,但是实际上,现有公开的几个数据库在合成效果,分辨率等方面存在较大差异,因而当跨库测试时,由于测试数据与训练数据存在分布的差距,算法的性能变得很差。并且,随着Deepfake技术逐渐发展,合成效果愈加逼真,如何与之进行博弈,提取深层次且鲁棒的特征,也是令人关切的问题。针对这些问题,本文将重点放在Deepfake假脸视频的频域和时域特性上,使用卷积神经网络进行研究,具有一定的理论意义和实用价值。具体的研究工作如下:1、通过离散余弦变换和双树复小波变换对GAN生成人脸图像以及Deepfake假脸视频进行频域特性分析。本文研究发现,GAN生成图像在离散余弦变换(Discrete Cosine Transform,DCT)存在周期性现象;真实视频的人脸区域较Deepfake视频的人脸区域在DCT变换域的高频信息更为丰富。其次,本文使用双树复小波变换将低频分量和高频分量分离,进一步从高频子带中发现真假人脸在变换域细节的差异。2、提出了基于双树复小波的Deepfake假脸视频检测算法。本文一个分支利用构建的浅层频域网络(Shallow Frequency Net,SF-Net)网络从双树复小波变换中提取低频特征和高频特征,并设计了基于交叉注意力机制的特征融合方式;另外一个分支采用基于能量调整的图像增强方法,提高反变换后图像的对比度。实验结果表明,该算法在库内检测效果达到最佳,同时,多个数据库的交叉测试也表明该算法泛化性能稳定。3、提出了多时域多特征结合的Deepfake假脸视频检测算法。本文利用频域的DCT特征,结合颜色特征和相邻时域的梯度特征,对单帧图像的多类篡改痕迹进行提取并融合;同时结合篡改视频的时域篡改痕迹不连续,存在抖动的特点,设计了短时域模块和长时域模块以获取相邻两帧的梯度信息和远程时间上的特征上下文。实验结果表明,所提出的算法能够捕获深层次且鲁棒的特征,并且进一步提高算法的泛化能力。
其他文献
微生物燃料电池(Microbial fuel cell,MFC)是一种能将水体中有机物中的化学能直接转化为电能的新型微生物装置系统,近些年在废水脱氮处理领域表现出很大的应用潜力而得到广泛的研究与讨论。其中单室MFC更是有着节省材料成本与运行成本、输出功率高等优势,具有极好的废水同时脱氮产电的应用前景。但此应用目前还缺少足够的理论基础与实践检验,针对这种情况,本研究构建了单室空气阴极MFC同步硝化反
随着社会经济科技的发展,全社会用电需求越来越大,气体绝缘金属封闭开关设备(简称为GIS)由于其结构紧凑、可靠性高等优点,广泛地应用在电力行业中。经过长时间的工作,GIS内部会发生突发性故障,检修人员需拆解GIS设备并查找内部故障的位置和表现形态。传统的检测方法是通过人手持特种检测设备进行检测,存在检测范围有限、有盲区、效率低、操作不便等问题,导致后续故障检修工作难以较好展开。为实现GIS内部故障的
基于半导体材料的可见光催化技术被公认为是有效解决环境水污染问题和能源危机的最有前途的技术之一。窄带隙p型半导体氧化亚铜(Cu2O)的理论太阳能转化效率可达14%-20%,易被太阳光谱中的可见光波段激发,并且其自然丰度高,价格低廉以及毒性低等特性使其在可见光催化领域得到广泛的研究和关注。但其价带位置和氧化还原电势决定了Cu2O在水和光照环境下具有严重光生载流子表面重组以及自身光腐蚀的固有缺陷,这将严
随着电子产业的发展,人们对电磁屏蔽技术的要求日益增加,兼具高导电性和轻薄的电磁屏蔽新材料成为了该领域的研究热点。碳材料具有导电性优异、低密度、化学稳定性高和成本低等优点,在电磁屏蔽领域具有巨大应用潜力。其中,具有优异导电性能和比表面积高的石墨烯是制备碳基电磁屏蔽材料理想的组分。但石墨烯存在易团聚、结构易坍塌等问题,难以发挥其在材料中的电磁屏蔽性能。木质素是储量丰富的天然芳香聚合物,是具有三维网络结
随着网约车行业的发展壮大,网约车逐渐融入人们出行的日常方式中,但由于网约车司机素质参差不齐、平台把关存在漏洞、场景复杂不受控等问题影响,广大群众越来越关注网约车出行的安全问题。在车载场景下应用人脸识别技术可以监督、规范网约车司机。但是,目前已较为成熟的二维人脸识别技术的使用场景大多都是受控的,而且二维人脸识别存在安全性不足的问题,这些问题成为了人脸识别发展的瓶颈。本课题来源于广州市某企业的科技项目
在能源转型的当下,电动汽车、共享出行和自动驾驶等出行升级正日益影响道路交通的能源结构。电动汽车作为一种新型交通工具,具备接入电力系统的条件,与其相关的应用研究在国内外得到广泛关注。对于这些应用研究而言,充电数据是其重要的研究基础,而当下的电动汽车渗透率和充电设施普及率依旧很低,与未来出行升级背景下的交通场景存在较大差距,无法在当前的实际场景中直接获得可用于研究的大规模电动汽车群充电数据。为此,本文
室温硫化(RTV)硅橡胶具有优异的电绝缘、耐臭氧老化、耐候、耐辐射等性能,已在电力行业得到越来越广泛的应用?为了更好地安全应用在高压绝缘领域,硅橡胶不仅需要有优异的力学性能,还要求具有较低的密度和良好的阻燃性能。本论文以空心玻璃微珠(HGM)为减重填料,三聚氰胺-氰尿酸盐(MCA)和聚四氟乙烯(PTFE)为阻燃剂,加入到气相白炭黑和甲基MQ树脂补强的以α,ω-二羟基聚硅氧烷为基础聚合物的RTV硅橡
近年来,图像生成,图像编辑,表征学习等计算机视觉任务在生成对抗网络的帮助下取得了飞快发展。其中,这些任务能够取得进展的主要原因在于生成对抗网络的关键部分——对抗损失函数。目前,该损失函数被广泛应用在无监督任务中。此外,对于生成对抗网络,其优秀的图像生成特性也为数据增广任务提供了新思路。本文将从图片像素化和图片反光去除两个任务出发,探索生成对抗网络在无监督训练和数据增广这两方面的优越性。图片像素化任
随着环保意识和可持续发展理念深入人心,生物质资源凭借着其可再生和易降解的特点受到了极大的关注。然而,许多工业生产中的生物质由于没有得到合理的利用,反而被视为废弃物,为经济发展和环境保护造成很大的负担。咖啡渣,作为咖啡工业的副产物,每年的产量达到数百万吨规模。然而现在咖啡渣通常被就地填埋或是燃烧处理,这种处理方式造成了资源极大的浪费并且引发了严重的环境污染问题。根据研究表明咖啡渣中含有纤维素,半纤维
近年来,即时定位与建图(Simultaneous Localization and Mapping,SLAM)技术逐渐成为室内导航领域中的热点。而大多数的视觉SLAM系统前端是基于点特征匹配,因此在弱纹理区域、光照变化或帧间运动过大的室内场景中由于无法提取足够的点特征导致匹配失败。然而在室内等人造场景中,存在大量的线特征可供提取,可与点特征形成互补。另外,视觉SLAM系统在帧间运动过快时存在位姿漂