神经网络结构裁剪与搜索研究与实现

来源 :吉林大学 | 被引量 : 0次 | 上传用户:hao999999
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习的日益发展,各种神经网络模型被设计和搜索出来,大量网络模型广泛地应用在图像分类任务中。特别地,网络结构对于模型的最终表现是关键且重要的,特殊的网络结构往往会使得模型产生奇特的效果,因此人们对于寻找新型网络结构的需求变得迫切起来。然而,很多神经网络模型的结构是人为设计出来的,其中模型架构的设计过程需要先验的经验和高水平的知识作为支撑,较为费时费力,而且人为的经验在一定程度上会限制网络结构的创新性和多样性,从而模型在任务中的相关表现易被局限。为了缓解这些问题,近些年来,神经网络结构自动设计和搜索开始激起人们的兴趣,通过自动修改或者寻找模型的结构,产生的神经网络模型在相关任务中一般会达到更高的计算效率或者更优秀的准确率。本文将通过对神经网络模型进行自动裁剪和搜索以探索新的网络架构,提高模型在图像分类任务上的表现。本文首先着眼于自动精简化神经网络模型,探索计算友好型神经网络架构。近年来,神经网络模型越来越复杂,需要的存储和计算资源越来越多,然而模型中往往存在大量冗余的连接。现有的裁剪方法分为细粒度裁剪方法和粗粒度裁剪方法,细粒度裁剪使得模型的稀疏矩阵计算不规则,计算效率没有得到显著提升,而粗粒度裁剪方法一般针对卷积网络的特有结构,对于普通的神经网络如全连接网络缺少对粗粒度裁剪结构的设计方法。为此本文提出了一种针对全连接结构的块状裁剪方法以压缩和简化神经网络模型结构,然后将裁剪后的块状稀疏权重矩阵利用块稀疏行(Block Sparse Row,BSR)稀疏矩阵存储格式存储,提高了计算速度。该方法自动裁剪模型中不重要的连接,形成了新颖的块状稀疏神经网络结构,这种规则性分布的稀疏结构对模型权重矩阵的计算较友好。实验表明该方法在不损失准确率的同时还能减少模型的存储空间,加快模型的计算速度,同时与其他裁剪模型对比具有优势。近年来,神经网络架构搜索(Neural Architecture Search,NAS)领域逐渐流行了起来。NAS将网络架构工程自动化,可以搜索出更加多样化的神经网络结构,减少了人工设计结构的成本。但传统NAS方法的搜索空间过大,而且搜索过程和方法较复杂,对算力的要求过高。为了缓解这一问题,本文利用NAS思想,采用一种简单直接的局部搜索策略,在骨干网络的基础上自动搜索神经网络架构,在搜索过程中通过对骨干网络中的算子进行逐步替换来获得新型的网络结构。实验结果表明,本文提出的自动搜索方法简洁有效,较好地实现了对新颖神经网络结构的探索,而且搜索出的创新网络架构在图像分类任务上产生了具有竞争力的精度。
其他文献
如何建立一个能够用结构来表示隐藏在领域知识内的分类模型是人工智能领域内的一个关键问题。贝叶斯网络(Bayesian networks,BNs)为不确定性背景下的推理提供了一种紧凑直观的图形表示,并已成为许多概率专家系统的基础。然而,学习一个拥有最优的网络拓扑结构的贝叶斯网络已经被证明是NP-hard问题。自从朴素贝叶斯(Naive Bayes,NB)在良好的分类表现和最小时间开销两方面取得优良平衡
学位
为减小低温对酵母的损伤,提高冷冻面团品质,本课题以馒头酵母、面包酵母为研究对象,考察四种抗冻保护剂(抗冻蛋白、海藻糖、甘油及大豆分离蛋白)对两种酵母的保护作用,通过单因素及响应面优化出最佳复配保护剂配方,并探讨其对酵母及冷冻面团的影响。以活菌率和脯氨酸含量为指标,考察四种抗冻保护剂:甘油、海藻糖、抗冻蛋白(Antifreeze proteins,AFPs)、大豆分离蛋白(Soy Protein I
学位
利用傅里叶变换红外光谱(FTIR)实验及分峰拟合技术,对3种不同变质程度煤样进行官能团的定性与定量研究,计算并分析红外光谱结构参数。结果表明:随煤样变质程度的加深,羟基官能团逐渐增大,羟基-N与环氢键含量减少,羟基-π含量增多;在脂肪烃中,甲基含量升高,次甲基含量下降;含氧官能团逐渐减小,C=O呈下降趋势,羧基在低变质程度煤中含量最高,高变质程度煤几乎不存在羧基;芳香烃逐渐减小,芳香烃主要以三、四
期刊
随着“元宇宙”概念的提出,虚拟环境交互技术不断涌现。其中沉浸式虚拟现实技术和增强现实技术是构成元宇宙中重要的一环。文本输入是虚拟环境下最基础的交互行为,然而现有方法存在诸多弊端。目前虚拟环境下主流的文本输入方式是通过手柄激光指向单键输入字符,具有速度慢、准确率低、易疲劳等弊端,不符合虚拟环境下输入需求。没有简易有效的输入方式会导致虚拟环境下应用程序主要功能缺失。文本输入、搜索、填充表单、输入数据和
学位
<正>研究目的:足球历来是我国三大球项目之一,是普及性较高且受广大青少年喜爱的一项运动。近些年由于我国受到应试教育的影响,学生参加足球运动的时间大幅缩水,进而导致青少年体质下降。"双减"政策出台后为青少年足球运动带来了新的机遇,如果我们可以把握好此次机遇,这不仅可以增强青少年体质健康、打磨足球的基本技术和理论知识,还可以促进学生全面协调健康发展。因此,本文从开展校园足球课后服务的现实困境出发,并提
会议
高层建筑结构具有柔度大、质量轻、自振周期长以及阻尼小等特点,这使得风荷载逐渐成为高层建筑结构安全和舒适性的主要控制荷载。当流体流经高层建筑结构时,流体会在其结构表面发生流动分离、再附着漩涡脱落等现象,会在柱体结构周围形成不同的扰流区域及脉动力作用,从而会可能会导致结构损伤甚至破坏。另一方面,同一流场内的多结构绕流,其流动形态复杂多变,在流场中受到的气动力作用可能会大于单一结构绕流时的气动力作用。所
学位
伴随着新课程改革的实施,以“主动参与、乐于探究、交流与合作”为特征的新型教学方式得到了关注,尤其是对低年级的学生来说,此教学方式符合其积极性高、活泼好动的身心发展特点,因此具有较高的可行性。值得注意的是,在新型教学方式贯彻落实的过程中,合作式学习取得了更为显著的成效,有效地提高了学生的体育运动积极性与竞争意识,为体育课堂营造了更为浓郁的合作氛围。为进一步研究新课程改革背景下小学低年级体育课堂中的合
期刊
随着越来越多地下空间的大规模开发和利用,在地震发生时,地下结构频繁发生破坏,隧道作为地下结构的重要形式之一,其安全和抗震设防问题引起了世界各国的关注。其中隧道结构的抗震设计主要指的是土-隧道结构相互作用的问题,而影响其最重要的因素之一为土-隧道结构相对刚度,即柔度比(Flexibility Ratio,以下简称F),因而开展F对土-隧道结构体系地震响应影响的系统性研究是一个需要迫切解决的重要研究课
学位
N6-甲基腺苷修饰也称为m6A修饰,是一种广泛存在于真核生物的mRNA和长非编码RNA上的高度保守的转录后碱基修饰。研究表明m6A修饰与许多生物学过程有关,包括且不限于蛋白质的翻译与定位、mRNA的剪切和稳定、RNA的定位和降解等。因此,准确识别RNA序列上的m6A修饰位点具有非常重要的生物学意义。传统的湿实验方法检测RNA中的m6A修饰位点面临着诸多局限性,例如需要耗费大量的时间和金钱、实验处理
学位
从2020年开始,新型冠状病毒肺炎在世界范围内全面爆发,并对全人类的生产生活造成了不可恢复的巨大影响,世界各个国家都损失惨重。以中国为代表的部分国家采取了及时有效的措施,遏制了疫情的发展传播,但是新型冠状病毒的变异毒株却一次次席卷重来,变异后的毒株在暴露条件下生存能力更强,生存时间更久,传染性更强。与此同时,新型冠状病毒肺炎的研究文献数量也急速增长。如果科研人员仅仅通过人工阅读的方式获取相关信息,
学位