高性能与轻量化平衡的深度神经骨干网络研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:qqsskk
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着存储容量和计算机算力的飞速发展,数字化技术进入了高速发展期。深度学习已经成为机器学习研究中非常重要的领域之一,在计算机视觉领域,尤其是在图像分类场景和目标检测场景中的应用已经取得了巨大的成功。但深度学习模型性能的提升必将导致网络结构复杂度过高、计算量过大、训练时间过长等一系列问题,这对将其部署在算力和存储容量受限的移动设备上造成了很大挑战。为了更好的将深度学习方法应用于移动设备,很多学者已经在轻量化深度神经网络上做出很多富有成果的研究工作和可落地的神经网络架构,但是依然与主流网络的性能存在较大差距。因此,平衡好模型高性能与轻量化之间的关系,并将其更好地部署在移动设备上具有重要意义。本课题主要对能够平衡高性能与轻量化之间关系的深度神经骨干网络进行研究,主要工作如下:(1)针对在保证模型性能的前提下降低模型复杂度的问题,本研究提出了基于轻量化全局信息提取块的Global Attention Augmentation Ghost Module(GAAG)模块。首先对Ghost Module中cheap operation模块进行理论分析,发现该模块所产生的特征图,只是用来增加卷积神经网络的宽度,而不是为模型提供更丰富的特征信息,这是对计算资源的浪费。因此,本文提出了一种轻量化全局注意力信息提取块替代Ghost Module中cheap operation模块,来增强模型非局部(全局)信息的提取能力,并保持计算成本几乎不变。此外,本研究通过实验结果发现,通道间信息的循环对于更好地融合每个特征图块的信息是必不可少的,便提出将channel-shuffle和channel-attention相结合的方法,以促进局部和非局部(全局)信息的融合。本研究使用ResNets作为主干网络框架广泛评估GAAG模块在图像分类和目标检测方面的表现,实验结果表明,GAAG模块可以灵活地插入到现有的各类卷积神经网络中,完美地替代基线模型中的传统卷积层,并且,与同类模型相比,GAAG模块能够在轻量化和高性能之间保持良好的平衡。(2)针对近期在各种视觉任务中表现出色的ViT(Vision Transformer)-like模型,由于其对输入特征维度的二次复杂性,以及其核心模块自注意力(Self-Attention)对局部信息不敏感问题。本研究针对上述问题,首先受加性注意力启发,提出了一个轻量化自注意力提取块(Light-Weight Self-Attention Extract Block,LWSE),其可以以线性复杂度来实现自注意力的全局空间聚合能力。紧接着,将深度可分离卷积(Depthwise Separable Convolution)和LWSE块沿通道轴连接起来,构建了一个新的图像特征提取器-混合信息提取层(Hybrid Information Extraction Layer,HIE)。同时,为了防止下采样造成的信息损失,设计双分支多样信息下采样模块(Dual Branch Multi-Information Downsampling Module,DBMID),并将LWSE块添加到其中一个分支,使下采样过程也可关注全局信息。最后,针对深度神经网络不同深度阶段对局部和全局图像信息抽象的不同敏感程度,由前述所提模块搭建了一个自适应特征提取网络(Adaptive Feature Extraction Network,AFE Net),其关注浅层的局部信息和深层的全局信息。本研究在CIFAR-10及Image Net-2012的各种任务中进行了大量实验。实验结果表明,本文的方法在保持高性能和轻量化平衡方面具有优势。
其他文献
随着城市化进程的推进,地铁建设迅速发展,其安全性能受到广泛关注。在最近的几次严重地震事件中(如1995年的神户地震、1999年的科贾埃利地震、1999年的集集地震和2008年的汶川地震),结构的严重破坏引起学者们的广泛关注,地震地区的地铁的抗震设计变得尤为重要。地铁通常是在一组既存的结构下面或附近建造的。在地震作用下,地表结构、土壤和地铁车站三者之间存在着复杂的相互作用。这种相互作用会改变地震波传
学位
<正>研究目的:本研究立足于"双减"政策背景,对小学阶段校园足球的现实困境进行深度分析,并提出相应的发展对策,旨在进一步促进小学阶段校园足球的普及与发展,提高该阶段校园足球水平。研究方法与思路:本研究通过分析相关文献及政策文本,构建研究思路,铺垫理论基础;通过问卷调查、
会议
现实社会中,网络无处不在,交通网络、社会网络、生物网络、电力网络、学术网络等,各类网络层出不穷,网络的规模也不断增大。因此,网络分析技术在许多研究领域正在发挥着越来越重要的作用,例如链路预测、信息扩散、社区检测等。近年来,受到“口碑效应”、“谣言控制”和“病毒营销”这些实际问题的影响,影响力最大化问题的研究日益引起人们的关注,成为新的研究热点。影响力最大化问题是指从网络中找到一定数目的节点,让这些
学位
图像分割是计算机视觉领域的一个重要研究方向,相比于目标检测具有更高的复杂度,分割要求对图像做像素级的分类,这无论是对模型复杂度还是数据规模都提出了更高的需求。本文同时从模型和数据入手,重点解决实例分割中掩膜表示复杂度高和语义分割数据标注成本高的问题。在模型层面上,如何以更低的代价准确预测掩膜一直是设计实例分割模型时的一个关键问题。近年来,一些实例分割框架采用低维信息表示实例掩膜,如掩膜的轮廓点集或
学位
随着数据采集技术的不断进步,在不同领域生成了海量的数据。通过分析这些数据,可以了解不同领域的内在规律,进而推动领域进步。然而,数据维数的高速膨胀带来了大量的无效数据。在此背景下,特征选择受到了国内外学者越来越多的关注。因为它可以有效消除无用数据,从给定的数据集合中提取出信息量最大的特征子集,实现提高机器学习模型分类精度和降低模型复杂度等多个目标。特征选择方法可以分为基于过滤器的方法和基于包装器的方
学位
沈阳某铬盐生产化工厂过去曾堆放大量固体废物铬渣,其周边水土尤其是周边农田区域已经受到严重的重金属铬污染。针对该地区受变价重金属铬污染较重的现状,使用微生物诱导碳酸盐沉淀(MICP)修复技术对该地区污染土进行修复,揭示其修复机制,同时为了解决MICP技术带来的土壤易板结问题,与生物炭联合使用,研究该联合技术对该地区污染土的修复效果及修复后的稳定性。研究内容及成果如下:(1)自铬污染场地分离出一株具有
学位
针对全球变暖和城镇化快速发展,导致城市热岛效应加剧、极端气候频发、居住建筑能耗大幅增长以及碳排放持续增加的问题。采用局地气候分区系统理论WUDAPT Level 0方法、自下而上物理模型建模方法、De ST-h状态空间法数值模拟相结合的方法。开展沈阳市居住建筑区域能耗及碳排放模拟研究,以沈阳市6类典型居住建筑区域能耗及碳排放作为研究对象。重点关注的是居住建筑运行阶段的用电能耗和电力相关的间接碳排放
学位
现代社会生活与工作中会产生诸多垃圾,其中主要组成为固体废物,如果不能做好固体废物的排放与治理工作,就会严重影响周边生态环境,甚至制约区域经济发展及社会稳定。因此,要在环境工程建设中提高对固体废物治理工作的重视度,持续优化与完善现有固体废物治理模式。鉴于此,文章以环境工程建设为对象,分析固体废物治理对环境工程建设的作用,探讨如何做好固体废物治理工作,实现环境保护与经济发展和谐共存。
期刊
钢管混凝土结构具有优异的使用价值而被广泛地应用于各种实际工程中,但随着钢管混凝土构件使用周期的增加和服役环境的变化,其结构耐久性问题变得越来越突出。对服役于严寒和酸雨腐蚀地区的钢管混凝土结构,复杂的环境因素对其力学性能影响较为严重,尤其是长期力学性能,因此,其结构耐久性能更应得到重视。为研究严寒地区酸雨腐蚀对钢管混凝土力学性能的影响,本文对40根不同环境因素作用后的圆钢管混凝土短柱进行轴压试验研究
学位
2021年,上海、深圳等部分省市出现了电量供不应求的局面。蓄冷空调通过负荷侧错峰用电将为调峰做出巨大贡献,是解决此问题的有效手段。水流横掠单冰柱相变传热问题是从蓄冰盘管热交换过程抽象出来的科学问题。已有研究主要集中在温差驱动的自然对流条件下的固/液相变传热方面,忽略了强迫对流对于传热的影响。亟需从理论和实验角度揭示强迫对流条件下融冰传热特性用以指导工程实践。因此,基于非接触测量法构建二维冰柱相界面
学位