基于异常度分析的对抗剪枝算法

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:s1u2n3cn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习近年来在多个领域取得了杰出的成就,但是也面临诸多挑战。一方面,深度神经网络因为其复杂结构和大量的参数而需要消耗的大量的计算资源和存储空间,因而难以实现模型在资源相对紧张的移动设备上的部署,所以在保证模型性能的同时对神经网络实现加速和压缩显得尤为重要。而另一方面,有研究表明在对抗环境中神经网络极易受到恶意样本的攻击,神经网络的安全性受到严峻的挑战,而经过压缩后的模型在对抗环境下其鲁棒性会进一步下降。本文的研究围绕以上两个要点展开。本文首先针对对抗环境下的神经网络提出了异常度这一概念,并给出两种基于对抗样本的异常度计算方式,也作为模型剪枝的标准。异常度被定义为干净样本被攻击后的神经元梯度或激活值的相对变化,神经元的异常度越高则认为该神经元对对抗样本越敏感。异常度能挖掘出模型中容易受到对抗样本干扰的神经元,再将其裁减掉来提高模型的对抗鲁棒性。同时从模型参数分布和神经元可视化两个角度分析了对鲁棒模型剪枝的必要性。在此基础上本文利用异常度作为剪枝标准与改进的对抗训练算法结合提出了对抗剪枝算法框架,该算法在模型预训练阶段使用改进后的对抗训练算法,得到一个参数冗余的鲁棒模型,随后在剪枝阶段使用异常度对模型参数进行全局排序剪枝得到稀疏模型,最后再使用对抗训练对模型微调来得到一个稀疏鲁棒模型。随后本文对该剪枝框架进行在线化探索,给出了端到端的对抗剪枝算法框架,引入了可学习的异常度剪枝掩码,进一步提高了模型的鲁棒性和压缩率。实验结果表明,本文方法和现有其他对抗剪枝方法相比具有优越性。本文方法在高压缩率下面对多种黑盒和白盒攻击时都表现出较高的对抗鲁棒性,这表明异常度剪枝可以显著增强对抗训练的防御效果,可提升稀疏模型的安全性。在用本文所提出的对抗剪枝算法裁剪掉9成的参数后,在不损害模型干净样本泛化能力的前提下,模型依然具有极高的对抗鲁棒性。
其他文献
层状GaS半导体材料以其2.6~3.1 eV的宽禁带特性,填补了层状窄带隙半导体材料和层状绝缘体材料之间的带隙空白;以其优异的光电特性,在新兴的光电子器件领域展示出了广阔的应用前景。然而,在GaS的生长方面,目前存在着GaS物相不可控、GaS纳米片尺寸小和GaS薄膜不均匀生长的问题;在GaS晶体管的电学性能方面,目前存在着载流子场效应迁移率普遍低的问题,结果损害了GaS探测器的光电性能;在GaS探
学位
太阳能热水器凭借价格低廉、制造简单和维护方便等优点被广泛应用于太阳能热利用领域。基于相变材料的蓄热器可以及时将太阳能以潜热的形式储存,并在需要时释放大量热量用于制备生活热水,从而解决太阳能在时间和空间上分布不均的问题,缓解能源供需矛盾,提高能源利用率。相变材料的蓄热、放热效率极大地受蓄热器换热结构的影响,为保证流体与相变材料的高效传热,实现热水的快速供应,本文紧密围绕基于定形复合相变材料的蓄热器开
学位
酸性矿山废水(AMD)污染流域易孕育形成一种特殊的含铁羟基硫酸盐次生矿物——施氏矿物。施氏矿物对酸性矿山废水中的重金属能起到暂时固定的效果,但结构并不稳定,易随着环境的改变发生溶解和相转变,原先固定于矿物中的重金属会因此进行再分配。施氏矿物对磷酸根(PO43-)有很高的亲和力,且PO43-在吸附和共沉淀过程中能与施氏矿物结构中的硫酸盐发生交换,可能影响施氏矿物转变途径,但PO43-对施氏矿物的转化
学位
硒是人体生命活动必需的一种微量元素,具有多种生物活性功能。研究表明适量补充硒元素能提高机体免疫力、预防多种疾病。但由于无机硒对人体有较大的毒性,通过农作物的富集作用使有机硒元素进入人类食品链是一种安全有效的补硒途径。本研究利用大麦发芽过程,将无机硒(亚硒酸钠)经过生物富集作用转化为有机硒,培育出富含有机硒的富硒麦芽,并优化了富硒麦芽的制备工艺。在此基础上,探究了在大麦发芽过程中,富硒对麦芽主要营养
学位
苹果汁可以为人类提供多种营养物质和生物活性物质,是一种广受消费者喜爱的果蔬制品。尽管苹果汁的酸性环境不适宜食源性病原菌的存活与繁殖,但仍有研究报道相关食品安全事件。传统使用的热杀菌方法会导致果汁中的部分热敏性成分的流失以及感官性质的变化,因此现亟需开发一种新型杀菌技术,结合热超声技术和植物源抗菌剂,既能保证苹果汁的食品安全,又能确保对食品的品质没有显著影响。具体研究如下:经过抑菌实验筛选,选用香草
学位
随着全球经济向“服务经济”转变,制造业企业也深受影响,开始从传统的“生产型制造”逐渐向“服务型制造”转变,在此大趋势下,服务业对制造业转型升级的支撑作用开始体现,但我国的服务业特别是生产性服务业相对薄弱,对制造业的转型和支撑作用相对有限,而外资进入可以弥补本国服务业不足。在此前提下,2016年国务院批准通过了《服务贸易创新试点方案》,将15个省市(区域)划分为服务贸易创新试点城市,在试点城市推进服
学位
近年来,环境污染、气候变化问题愈发严峻,极端天气频发,威胁人类的生命财产安全;此外,人口老龄化、教育发展不均衡、贫富差距拉大等社会问题也逐渐凸显,对全球可持续发展产生不良影响,同时也把风险传导到金融系统和经济体系中。而企业作为经济活动的重要参与者,他们在环境保护、社会责任、公司治理上的表现不仅影响着自身的发展,而且也影响着自然环境和人类社会的可持续发展。随着可持续发展理念日渐深入人心,市场各方参与
学位
结构性产品包括结构性存款和结构性理财产品,其中结构性存款是我国商业银行发行的最主要的一类结构性产品。近些年来随着衍生品市场的发展,未来场外期权市场将会是个巨量市场,结构性产品设计、挂钩标的、收益结构也会更加丰富,现在很多证券公司也开始参与设计发行结构性产品。由于产品结构设计的复杂性、发行方投资方间的信息不对称和国内衍生品市场的不成熟,我国结构性产品市场还存在很多问题,监管部门近些年来也开始重视结构
学位
人脸识别的实际应用中的各种复杂变化,尤其是人脸姿态变化会严重地限制人脸识别系统的性能。虽然通过人脸旋转可以弥补训练数据的不均衡分布,从而提高人脸识别系统的性能。但是,以前的多数方法侧重于身份信息的保留,实际效果有欠缺。为此,本论文提出了基于注意力机制的指定姿态生成对抗网络(Attended PoseGuided Generative Adversarial Networks,APGAN),以根据源
学位
油包水(W/O)乳液在食品、制药、化妆品以及催化等领域的应用范围广泛。然而食品工业中常用PGPR、Span80等表面活性剂来稳定W/O乳液,这些表面活性剂常常因为其较高的用量和可能存在的风险而不被研究者和消费者所青睐。基于此,本论文开发了一种由可食用的乙基纤维素-壳聚糖复合颗粒(ECCH)稳定的新型Pickering油包水乳液,该Pickering乳液体系可用于低脂产品的开发以及符合绿色化学要求的
学位