【摘 要】
：
尽管神经网络已经在复杂的视觉任务上取得了相当可观的表现,最近的一些工作却发现这些网络对于人为设计的对抗扰动是十分脆弱的,将这些扰动添加在干净样本之上便能够轻易欺骗网络,导致做出错误的判断,这极大影响了神经网络在重视隐私和安全的领域的推广和应用.本文将从特征分布,鲁棒预训练和网络结构三个方面理解对抗鲁棒性的成因并提出相应的解决方法.首先,本文提出了一种正交稠密分类器和均方损失,前者权重向量在特征空间
论文部分内容阅读
尽管神经网络已经在复杂的视觉任务上取得了相当可观的表现,最近的一些工作却发现这些网络对于人为设计的对抗扰动是十分脆弱的,将这些扰动添加在干净样本之上便能够轻易欺骗网络,导致做出错误的判断,这极大影响了神经网络在重视隐私和安全的领域的推广和应用.本文将从特征分布,鲁棒预训练和网络结构三个方面理解对抗鲁棒性的成因并提出相应的解决方法.首先,本文提出了一种正交稠密分类器和均方损失,前者权重向量在特征空间中均匀分布,保证特征具有相当的类间散度,后者迫使样本的特征表示向各自类内中心靠拢,从而有较好的类内紧度.该方法在大大降低计算开销的同时,能够避免因特征紧挨于分类边界之上而导致网络的脆弱性,利用额外的对抗样本,模型可以获得更为广泛和可靠的鲁棒性.其次,本文提出了一种基于动量的鲁棒预训练方法,其本身是一种无监督算法.为了能够获取长期的特征表示并保持负样本之间的一致性,我们引入两个记忆模块用以动态更新过往的干净和对抗样本的特征信息.通过鲁棒预训练方法获得一些较好的初始化模型,然后借助微调应用于不同的下游任务,其复用性便能减轻对抗训练巨大的计算开销所带来的负面影响,为对抗训练在更复杂任务上的应用提供了可能.和已有的鲁棒对比学习方法相比,本文提出的方法能够通过更小的批次和更少的训练次数获得更好的训练结果.最后,本文从对抗鲁棒性和特征大小的关系入手,分析二者的关系并提出相应的改进.神经网络的对抗鲁棒性主要取决于两个因素,一是网络的特征表示能力,二是其抗扰动能力.通过理论分析发现在平均池化之前利用较大的卷积特征可以有助于更好地抵抗扰动,但对于最大池化此结论并不正确,基于此,我们提出了两种可行的方法来提高现有神经网络的鲁棒性,只需要对输入进行上采样或修改卷积算子的步幅配置.我们在几个经典的神经网络结构上测试了该方法,包括AlexNet,VGG16,RestNet18和PreActResNet18,它们在各种攻击下的自然精度和鲁棒性均取得了重大改进.可以预见这些研究能够为鲁棒神经网络的设计带来了新的见解.
其他文献
文本风格是文本的重要特征,相比于文本格式、文本主题等,文本风格更加复杂,属于隐式特征。随着深度学习与自然语言处理的发展,有关文本风格的研究取得了不错的成果。目前的文本风格研究集中在文本情感风格、性别化风格等方面,而文本风格迁移任务目标,则是在保持文本主题不变的前提下,转换文本的表达风格,例如将消极表达转化为积极表达,或是将男性化表达转为女性化表达。文本风格迁移任务能够帮助人机交互系统更好地理解人类
图的控制集理论是图论中发展最快的领域之一,其在通信网络、计算机科学组合优化、编码理论等领域有着重要作用.验证码和定位码是与图的控制集概念密切相关的两类重要的码,在编码理论及现实生活中有着重要的理论和实践意义.确定图的最优r-验证码和r-定位码的界是很困难的,即使对于最简单的图,圈和路.事实上,这个问题是NP-完全的.因为图的验证码和定位码的最优界问题是NP-完全的,所以对这两种码的上下界的确定,极
在求解偏微分方程约束的最优控制问题上,传统方法主要借助有限元、有限差分等数值离散手段.虽然说传统方法具有很高的精确度,但是一般来说传统的求解方法都是基于网格的,这种局限性决定了传统方法只适用于简单低维的情形.由于深度神经网络采用的是无网格形式并且在近似高维函数时具有很强的非线性拟合能力,因此近年来使用深度神经网络代替传统的数值离散方法近似偏微分方程开始得到科学家的重视.但是,对于偏微分方程约束的最
卷积神经网络已经成为许多计算机视觉任务的重要组成部分,如图像分类、物体检测、图像生成等,然而近几年兴起的胶囊神经网络相比较传统的卷积网络来说,具有能够捕捉物体不同组成部分之间的空间层级关系的特点,因此在诸如旋转、缩放甚至重叠的物体识别上具有更好的分类精度.但是与传统的卷积神经网络一样,胶囊网络也容易受到对抗性攻击的影响,造成网络输出不可信的预测结果,这阻碍着神经网络在医疗、安防等关键领域的部署,因
对于带有不确定性的机器人系统,本文主要考虑了基于强化学习的鲁棒最优跟踪控制问题.首先考虑受到环境干扰的机器人系统,将其表示为带有不确定性的动力学模型.然后在一些合理的假设下,对自主水下机器人和Mecanum轮式移动机器人分别提出了鲁棒最优跟踪控制策略.最后,仿真结果验证了同步学习算法和近似最优跟踪控制器的有效性.具体地,对于具有模型不确定性和外部扰动的自主水下机器人,提出了一种基于在线策略迭代算法
Mashup作为一种轻量级的Web应用程序,通过组合现有的Web API,能够满足各种Web应用程序的复杂需求,这就减少了开发人员的开发时间、提高了开发的效率。随着Web API数量快速增长,如何从这庞大的资源库中选择到合适的Web API进行Mashup开发成为亟待解决的问题,并且数据稀疏性和冷启动问题也给Web API的推荐带来了挑战。为此,本文围绕着Web API推荐进行展开,对于给定的Ma
公墓是安葬遗体和骨灰的地方,是每个人的生命不可避免的最终归宿。公墓是逝者安息的家园,是人们表达对逝者的哀悼和体现社会风俗的客观载体。殡葬环境与城市环境息息相关,公墓景观规划是城市文化景观建设的重要部分。随着人口的增长和城市化的快速发展,蒙古国传统的墓葬方式已不能满足现代城市文明进程的要求,对自然的破坏、占用土地资源、环境污染等已成为不容忽视的重要问题。本文以蒙古国公墓为研究对象,以生态友好为目标,
随机时滞非线性系统综合考虑了随机扰动（有色噪声）和时滞因素的影响,是一种重要的数学模型,在控制论、神经网络、金融学等领域都得到了广泛的应用.基于此,本文探讨了一类由阶矩过程驱动的随机时滞非线性系统,主要考察了稳定性、不稳定性和稳定化这三个方面的问题,具体的研究内容如下:首先,在局部Lipschitz条件下,本文运用一致渐近稳定函数研究了随机时滞非线性系统解的存在唯一性问题,并给出了相应的定理;其次
图的生成树和电阻距离是图论和网络理论中的重要研究课题.本文主要考虑分别基于图的生成树和电阻距离定义的两个重要参数,一个是图的生成树边依赖,另一个是图的Kirchhoff指标.设图G是连通图,包含G中所有顶点的无圈的连通子图称为G的生成树.假设G中生成树的数目为τ（G）,并设G中包含给定一条边e的生成树的数目为τG（e）,则称dG（e）=τG（e）/τ（G）为边e的生成树边密度（简称密度）,并称G中
本文研究了具有单一符号特征值的一阶拟线性双曲型方程组的精确边界能控性和河渠中超临界非定常流的精确边界能控性.首先,基于具有单一符号特征值的一阶拟线性双曲型方程组混合初-边值问题半整体C1解的存在唯一性,我们得到了具有单一符号特征值的一阶拟线性双曲型方程组的精确边界能控性.其次,在上述理论的基础上,我们得到了超临界的情况下,单条河渠,串联河渠以及星状河渠网络中非定常流的精确边界能控性理论.