针对图像描述生成任务的对抗样本研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:rongweihua
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前的研究发现,表现良好的深度学习模型可以受到微小但精心设计的对抗性噪声扰动的攻击。在原始图像中添加精心设计的微小噪声扰动后的图像被称为对抗样本。不同的对抗样本生成方法可以用于评判现有模型架构的鲁棒性以及防御方法的防御性,从而发现现有模型架构的漏洞和缺陷,同时可以用于训练更加鲁棒性的深度学习模型。本文的研究场景是图像描述生成任务的无目标对抗样本攻击。现有的针对图像描述生成任务的对抗攻击方法相对较少,图像描述生成模型的健壮性有待探索。而之前的研究方法存在生成对抗样本耗时高以及攻击迁移能力不足的问题。为了更快地生成更好的针对图像描述生成任务的对抗样本,本文提出了使用基于卷积自编码器的噪声扰动生成网络去学习更具有攻击泛化性的对抗性噪声扰动。为了更好地训练提出的噪声扰动生成网络,本文结合图像描述生成任务的主流模型架构的特点,提出了三个损失函数项进行优化训练。它们分别是图像特征扰动损失,语言特征扰动损失,以及跨域局部全局扰动损失。在计算跨域局部全局扰动损失时,本文提出了两个语义映射子网络架构用于将图像和图像描述映射到高维公共语义空间。更具体地说,图像特征扰动损失是设计用于扰动图像的视觉编码特征。语言特征扰动损失是设计扰动原始图像的图像描述和对抗样本的图像描述之间的特征语义距离。跨域局部和全局扰动损失是将对抗样本图像和真实的图像描述通过额外训练的子网络映射到一个公共的语义空间,在这个公共的语义空间中,该损失进行局部和全局的跨域特征距离扰动。本文提出的损失函数项从图像层面,语言层面,以及图像-语言联合层面指导噪声扰动生成网络进行优化训练,从而产生具有攻击泛化性和鲁棒性的对抗样本。本文的实验结果表明本文的对抗样本生成方法不仅在白盒,半白盒,黑盒场景下能成功攻击未知架构和不同数据集训练的网络模型,而且能成功攻击商用的图像描述生成接口。同时本文探索了不同条件下本文方法的攻击性能。大量的实验结果证明了本文算法的有效性和本文对抗样本的高可迁移攻击能力。
其他文献
微小隐孢子虫(Cryptosporidium parvum)是一种重要的食源性人兽共患寄生虫,由其引起的隐孢子虫病能够导致人和动物产生腹痛、腹泻等症状。在发展中国家,C.parvum和C.hominis是导致婴幼儿中度乃至重度腹泻的主要病原体之一。糖基化是生物体中普遍存在的蛋白质修饰之一,包括隐孢子虫和其他顶复门,大约50%的蛋白质可能被糖基化。在隐孢子虫中,N-和O-连接的糖基化都大大简化了,并
学位
狂犬病是由狂犬病病毒(rabies virus,RABV)感染引起的一种嗜神经性人兽共患急性传染病,感染者一旦发病后,病死率几乎100%,无有效的临床治疗手段,且目前其致病机制仍不清楚,有待更深层次的研究。Rac1是Rho GTPase家族中重要成员之一,其在非活性GDP结合形式和活性GTP结合形式之间转换,并通过多个下游信号通路控制各种细胞功能,包括肌动蛋白细胞骨架的重组、细胞迁移和基因表达等。
学位
机器人技术在飞速的发展,各行各业都出现了机器人代替人类工作的身影。医疗领域中也涌现了各式各样的机器人辅助医生完成医疗工作。而在如今新型冠状病毒肺炎(COVID-19)在全球的爆发的大背景下,使用超声机器人来辅助医生工作不仅能缓解医生的工作压力,更能在一定程度上避免医生在与病人接触的过程中感染病毒,具有很大的研究意义。由于人体体表没有标志点可以用于器官位置估计,全自动超声机器人难以从体表定位器官。同
学位
图像修复是在给出的破损图像基础上,采用合理的、符合整体图像语义的内容填充缺失的孔洞区域,要求图像逼真、细节丰富。现有图像修复方法主要通过融合多尺度特征来应对内容多样的破损图像,然而这些方法融合多尺度特征的方式不够合理,因而修复效果不尽人意。本文提出了基于阶梯流特征融合的图像修复方法(S3FNet),通过对带孔洞区域的残缺图像进行多尺度特征融合,能得到清晰且全局语义一致的逼真图像。在S3FNet的阶
学位
随着数字图像技术的高速发展,图像伪造技术也得到飞速的进步,目前比较主流和普遍的图像伪造技术包含拼接伪造技术和人脸伪造技术。通过这些图像伪造技术生成的伪造图像在政治、经济、司法取证等诸多领域造成了严重的负面影响。因此,如何准确的检测这些伪造图像,成为了学术界的研究热点。本文针对拼接伪造检测技术和人脸伪造检测技术两个方法展开研究,主要内容和研究成果如下:1、针对目前主流的拼接伪造区域检测方法不能很好的
学位
随着互联网与多媒体技术的飞速发展,信息传输与共享也越来越便利。同时也推动了可逆数据隐藏技术的发展。该技术通过将加密数据秘密地隐藏到各种载体中来进行信息传输。同时可以在秘密数据提取出来后,无损地恢复载体信息,这一特性对一些不允许原始载体有失真的领域具有重要应用价值。此外,由于JPEG图像的压缩效率高,存储空间较小,是互联网中使用最为广泛的数字载体之一。但同时,JPEG图像中DCT系数的修改会带来较大
学位
随着人们对信息安全和隐私保护的日益关注,可逆数据隐藏成为了多媒体安全中热门研究方向之一。JPEG作为目前互联网中最受欢迎的图像格式之一,引发了研究人员对JPEG图像可逆数据隐藏研究的兴趣。目前针对JPEG图像明文域的可逆数据隐藏研究最多,但都存在一定缺陷和不足。而云存储服务的出现,人们越来越愿意将文件传送至云端,针对JPEG图像密文域的研究也逐渐兴起。基于VLC映射的可逆数据隐藏方案不同于基于DC
学位
促卵泡激素(Follicle-stimulating hormone,FSH)是由腺垂体合成和分泌的促性腺激素,在动物繁殖方面发挥着关键的作用。因此,探索调控腺垂体FSH合成与分泌的潜在分子机制是非常有必要的。长链被编码RNA(long non-coding RNA,lncRNA)、微小RNA(micro RNA,miRNA)都是内源性非编码RNA,在调控代谢、疾病发生、生殖发育等方面有着不可或缺
学位
随着互联网的快速发展,安全问题成为了亟需解决的重要问题,而异常检测在保证运行系统和网络的可靠性和安全性中扮演着重要角色。然而,现有的异常检测技术存在数据的异常标签难以获取和缺乏数据类型可扩展性等重要挑战。为了克服上述难题,本文提出了一个独立于数据类型的鲁棒的无监督异常检测框架RUAD。RUAD由一个用于提取数据潜在特征的自编码器网络,一个用于分离正常数据和异常数据的鲁棒层以及一个用于模拟正常数据分
学位
奶牛泌乳能力和乳品质是评价奶牛经济价值的关键因素,但乳品质易受多种条件影响。课题组前期研究发现饲喂玉米秸秆饲料会导致荷斯坦奶牛乳腺组织内IFN-γ受体表达升高,IFN-γ含量升高,诱导奶牛乳腺上皮细胞(Bovine mammary epithelial cells,BMECs)精氨酸耗竭和自噬,从而降低乳品质、增加奶牛乳腺炎的发生。但是IFN-γ诱导精氨酸耗竭的机制知之甚少。前期转录组学数据提示线
学位