基于自动机器学习的深度神经网络压缩与加速研究

来源 :厦门大学 | 被引量 : 0次 | 上传用户:suntiger2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度神经网络由于其出色的性能被广泛的应用到了各个领域中,但同时深度神经网络也具有计算量和参数量较大的弊端,这样的特点阻碍了深度神经网络的进一步发展。近年来大量的研究关注于深度神经网络的压缩与加速,并提出了多种有效的方法。一种常用的方法是神经网络的剪枝,但目前的剪枝方法大多都依赖手工设计剪枝模型结构和单一的剪枝算法,在面对不同的硬件或者压缩目标时欠缺灵活性,并且在压缩率较高的时候难以维持原有的性能。因此,本文提出深度神经网络压缩与加速的过程应该更加自动化,在面向不同压缩目标的时候能够自动搜索剪枝模型结构,并且为不同剪枝层搜索合适的剪枝算法,从而不仅节约人力成本,并且实现更小的性能损失。本文提出将自动机器学习与神经网络压缩与加速相结合,具体的研究内容和创新点如下:本文提出一种基于快速混合搜索的自动模型剪枝方法。针对深度卷积神经网络的结构化剪枝中的两个步骤:设计剪枝模型结构和剪枝算法,本文创新性的提出通过混合搜索的方式来同时搜索剪枝模型结构与剪枝算法。具体来说,本文在搜索每一层的剪枝率的同时,也为每一个进行剪枝的卷积层搜索合适的剪枝算法。除此之外,为了同时兼顾搜索效率与搜索的准确度,本文提出将搜索的过程分为两个阶段。首先在第一个阶段中利用进化算法在初始的较为庞大的搜索空间中进行搜索,并使用高效的自适应BN的方式验证候选剪枝模型;然后在第二个搜索阶段中基于上一个阶段的搜索结果,在一个小范围内进行搜索,并使用更为精准的微调的方式验证候选剪枝模型。该方法相比之前的方法具有更小的精度损失,也创新性的提出了为不同的卷积层搜索不同的剪枝算法。
其他文献
细粒度视觉分类由于其子类内的巨大差异和子类间的较小差异,使其成为了一项非常具有挑战性的任务,但是目前基于强监督信息的方法过渡的依赖于标注信息,而标注信息的获得成本十分昂贵,导致其很难在实际生活中应用。因此,基于弱监督信息的细粒度分类研究就具有极为重要的现实意义。为此,本文分别从整体局部区域和特征交互两个角度入手,提出了两种基于弱监督信息的细粒度分类方法,主要工作如下:(1)局部区域在细粒度分类中扮
学位
慢性胃炎在人群中的发病率达60%以上,早期症状不明显,因此很多人对此不够重视。慢性胃炎会经过萎缩、肠上皮化生和异型增生三个阶段,最终发展成胃癌。而胃癌是世界重大死因,因此通过对慢性胃炎进行筛查,使患者及时得到治疗,可降低胃癌发生的风险。慢性胃炎筛查的主要方法包括内镜诊断和病理活检。这两种筛查方法都具有侵入性,且检查结果需要由专业医生凭借其经验进行判断,容易出现漏诊、误诊的情况。相关研究表明慢性胃炎
学位
为了探究不同温度下淡水和微咸水中的微纳米气泡的衰减特征,通过微纳米气泡快速发生装置为淡水和微咸水通入微纳米气泡,分别研究了加氧淡水和加氧微咸水在20,25,30,35,40,45℃6个温度下水中溶解氧浓度随时间的变化特征。研究结果表明,不同温度下加氧淡水和加氧微咸水溶解氧浓度随时间增加逐渐减小的变化趋势符合指数函数变化特征。温度越高加氧淡水、加氧微咸水溶解氧的衰减速率越大,并且衰减速率会随着时间增
会议
以河南为研究对象,从资源节约、环境友好和产出效益3个层面选取13个评价指标,构建农业绿色发展评价指标体系,采用熵权TOPSIS组合模型以及障碍度模型分析河南农业绿色发展水平及其障碍因素。结果表明,2010—2020年河南农业绿色发展水平总体呈现U型变化趋势,其中环境友好是影响河南农业绿色发展水平的主要因素;环境友好相对接近度走向与总体趋势相似,波动性较强;从障碍度分析结果看,环境友好对农业绿色发展
期刊
基于农业绿色发展的深刻内涵,结合河南省农业发展情况,从资源利用、环境友好、生产效益、乡村发展4个方面构建河南省农业绿色发展评价指标体系,首先运用熵值法对河南省2015—2020年18个市及5个区域的农业绿色发展水平进行测度与分析;然后运用莫兰指数分析河南省农业绿色发展的空间演变特征。结果发现:河南省及各区域的农业绿色发展总体水平不断提高,豫西地区农业绿色发展水平增速最快,豫中、豫南、豫北发展趋势相
期刊
在线色谱分析仪是天然气能量计量的核心设备,选取具备代表性样气是分析准确的源头保障,而取样位置合理设置则是考虑的重要环节。文章共论述两个观点,一是通过对不同类型计量站场取样口位置设置的合理性分析,说明不同取样位置对实际生产的影响情况;二是通过对同一站场多上载点多分输用户各取样点实时色谱分析数据的声速计算和统计分析,说明在同一站场不同分输点设置取样口的必要性,以期为新建和改扩建能量计量站场提供可参考建
期刊
应用层次分析法确定农业绿色发展水平评价维度和评价指标,应用熵权法确定评价维度和评价指标的权重,应用综合指数法从社会发展、经济增长、农业生产、生态环境4个维度对山东省16个地市的农业绿色发展水平进行综合评价。结果显示:山东省各地市的农业绿色发展水平较高(指数平均值为0.43),地区间发展水平差距较小。但是各地市在社会发展、经济增长、农业生产、生态环境评价维度上表现各异。
期刊
近年来,语义分割在多个领域得到了广泛的应用。随着深度学习的快速发展,基于深度神经网络的语义分割在分割精度上不断提高,但巨大的参数量和计算量限制了网络在硬件上的部署,因而设计轻量级网络成为目前语义分割领域的研究热点。然而,传统的人工设计方法耗时耗力,因此研究者们希望将网络的设计过程自动化。于是,一些基于神经网络架构搜索的语义分割方法被陆续提出,并利用知识蒸馏技术,使用性能较高的大网络指导轻量级网络的
学位
自现代社会尤其是工业革命以来,化石能源的过度消耗造成了重大的能源短缺问题,学者们不断进行了新能源以及新型能源装置的广泛研究,致力于完成能源的可持续开发和利用,而超级电容器因为其高功率密度和卓越的稳定性引起广泛关注。相比于电池,超级电容器尽管有着充放电速度快的优势,但是其能量密度过低限制了其商业化应用的进程。而选择适宜的材料组装超级电容器,提高单位电容是电容器应用的核心问题,过渡金属氮化物作为一种新
学位
作为我国一种新兴的金融机构,村镇银行在弥补农村金融服务缺位等方面作出了突出贡献,为农村经济增长和小微企业发展提供了重要的金融支持。然而,随着村镇银行的快速发展,村镇银行的信贷风险不断增多,出现资产质量下降、贷款不良率上升、违规开展业务等一系列问题。甚至部分村镇银行没有建立信贷风险管理机制,一旦发生大规模信贷风险,将给储户和国家造成巨大的损失。鉴于此,文章对新时期村镇银行信贷风险管理存在的问题进行分
期刊