【摘 要】
:
近年来,深度强化学习(DRL)技术不断发展并被广泛应用于各个领域,但许多研究表明DRL模型在对抗攻击的威胁下存在安全漏洞,攻击者能够通过刻意扰动测试样本误导模型的决策。因此,DRL模型的安全性问题成为了研究重点之一。然而,目前针对DRL模型的对抗攻击和防御方法均存在一定的不足之处:现有攻击方法往往遵循分类任务中的攻击思路,导致攻击仅针对即时奖励,而没有考虑到对累积奖励的影响;现有防御方法,要么需要
论文部分内容阅读
近年来,深度强化学习(DRL)技术不断发展并被广泛应用于各个领域,但许多研究表明DRL模型在对抗攻击的威胁下存在安全漏洞,攻击者能够通过刻意扰动测试样本误导模型的决策。因此,DRL模型的安全性问题成为了研究重点之一。然而,目前针对DRL模型的对抗攻击和防御方法均存在一定的不足之处:现有攻击方法往往遵循分类任务中的攻击思路,导致攻击仅针对即时奖励,而没有考虑到对累积奖励的影响;现有防御方法,要么需要重新训练DRL模型导致计算成本过高,要么样本检测和动作修正这两个任务均依赖同个模型,导致了错误累积和模型训练难度增加。为了解决上述问题,本文在DRL对抗攻击和防御方法上做出了如下贡献:(1)本文提出了基于静态奖励影响图的DRL对抗攻击方法,深入挖掘对抗攻击下DRL的安全漏洞。我们的方法先是提出了静态奖励影响图以衡量输入像素对DRL模型累积奖励的影响,利用滑动窗口计算像素受到扰动后导致的累积奖励的下降程度。同时,静态奖励影响图的计算还考虑到了像素之间的相互影响。然后,我们的方法选取累积奖励影响值最大的像素进行攻击,从而构造能够有效降低累积奖励的对抗样本。实验结果表明了我们的攻击方法在白盒和黑盒攻击下均有着攻击效果的明显提升。(2)本文提出了基于多模型的DRL防御方法,提升了模型鲁棒性,为构建安全可靠的DRL系统奠定了基础。我们将防御这一复杂任务拆分成对抗样本检测任务和攻击下动作修正任务这两个相对简单的子任务。首先,我们提出了基于关联特征图的对抗样本检测模型,通过提取状态中观察帧之间的关联性,检测出对抗攻击导致的该关联性的改变,从而进行对抗样本的检测。其次我们提出的动作修正模型将对抗样本直接映射到干净的动作决策上。实验结果表明了我们的防御方法不但能够在多种对抗攻击下达到较好的防御效果,还大大降低了防御模型的训练时长。
其他文献
系统功能语言学家Halliday重视科学语言的研究,科学语言是近年来系统功能语言学界的一大新兴研究方向。物理在科学中处于基础地位,而物理教材是传授物理知识的重要媒介,从物理学科话语的词汇语法特征入手是有助于达成破解学科教育困境的有效路径(李战子,2018)。因果关系的建构是对科学知识进行解码和编码的重要手段。论文选取美国大学物理教材为研究对象,分析因果关系在该教材中的体现形式,旨在探究其建构模式,
与使用标准差作为风险指标的度量方法不同,基于投资者对于损失和收益并非持一致的态度,风险规避型投资者更为关注投资组合的下跌风险,因此左尾风险成为国内外学者关注的焦点。左尾风险指的是在概率分布函数中,处于左尾的发生概率较低,但是一旦尾部风险事件发生即会产生较大损失的风险。Bali et al(2014)研究发现美国个股特质尾部风险与股票的收益率之间存在负相关关系。Yigit Atilgan和Turan
氧化铟(In2O3)作为一种透明导电氧化物(TCO,Transparent conducting oxide)材料,由于其优异的透明导电性能和气敏性能,已经在太阳能电池、液晶显示屏、气体传感器以及催化剂等领域得到了广泛的应用。基于第一性原理方法,本文研究了 In2O3体系中的四种本征缺陷(氧空位VO、铟空位VIn、氧间隙Oi、铟间隙Ini),探讨了多氧空位在非化学计量比的晶体中的分布,并对双氧空位
非上市民营企业在推动经济发展、提高生产力、解决就业等方面发挥着重要的作用,被称为是我国经济的“毛细血管”。民营经济要想不断输出经济增长力、做大做强、产业升级需要大量资金的投入。上市公司与国有企业拥有多样化的融资渠道,而非上市民营企业资源有限、融资渠道狭窄、债务融资风险高,这些问题都在制约民营经济的发展,阻碍我国民营经济进步。有效识别非上市民营企业债务融资风险,及时控制风险源头,是促进非上市民营企业
近年来我国实体企业不断突破主业将其资金大量注入虚拟经济领域,从而导致企业投资金融化现象愈发普遍。短期内虚拟经济虽然可能会获得高额报酬,但由于实体企业物质财富生产不足,泡沫终会破碎,进而给经济发展带来危机。在对企业投资金融化的诱致因素分析中,既有文献已在股权集中度、融资约束、企业规模、实体投资获利能力下降等方面进行了研究,但涉及税收对企业投资金融化影响的工作较少。然而,税收政策是国家引导经济发展的重
2016年以来,我国政府为了进一步促进经济转型,同时提高大学生的就业率,出台了一系列的政策促进创新与创业。因此,深入分析影响大学生创业意愿的因素,有利于为政府制定促进大学生创业的政策提供依据,能够进一步提升大学生参与创业的意愿,为促进我国经济发展,解决大学生就业问题提供一定的参考。本文对大学生创业意愿的影响因素进行研究,并以四川省绵阳市高校为例进行实证分析。本文基于计划行为理论、社会化理论构建了影