基于结构化剪枝的深度神经网络模型压缩方法研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:lingyumhg
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习的发展,卷积神经网络被广泛用于计算机视觉任务中。然而,在通过增加卷积神经网络深度来提高其特征表达能力的同时,模型逐渐变的过度参数化,很难部署在运算能力和内存资源受限的嵌入式设备上。因此,研究如何在保证网络模型性能不显著下降的情况下,有效地减少网络模型的参数量和浮点数运算量,对于将深度学习相关技术落地于实际具有重要意义。通道剪枝是一种结构化剪枝方法,也是常见的网络模型压缩技术之一,拥有着较强的易用性和较高的压缩率。本文主要对通道剪枝算法进行深入研究,主要研究内容和贡献如下:(1)提出基于特征图相关独立性的通道重要性度量方法。相关独立性可以直观地理解成“可代替性”:若一个通道输出的特征图能够被同层中其他通道输出的特征图所代替,则该特征图相关独立性较低。输出特征图相关独立性较低的通道可以被认为是冗余的通道。该方法通过引入二维辅助矩阵,利用信息熵的概念量化出每个通道输出的特征图相关独立性。随后将该度量方法嵌入全局剪枝方法中,把量化出的特征图相关独立性作为对应通道的局部重要性,通过遗传进化算法把局部重要性转换成全局重要性,从全局角度对模型进行结构化剪枝。实验证明,该方法可以在几乎不影响模型精度的条件下,大大减少卷积神经网络模型的参数量和浮点数运算量。(2)提出基于双DDPG的自适应全局剪枝算法。遗传进化算法中的变异过程本身具有随机性,并且变异结果对下次变异没有导向作用,最终导致进化的迭代过程耗时较长、结果不稳定。本文基于强化学习的概念,分别利用两个DDPG代理在连续变化的空间中学习出每一层的全局规模系数和偏差系数。并且设计出了基于LSTM的模拟空间用于模拟出下一个状态。实验表明,相较于目前主流通道剪枝算法,该算法更能准确地移除网络模型中冗余的通道,并且剪枝后的网络模型仍有较强的特征信息提取能力。(3)提出基于多网络协调训练的模型性能恢复策略。受相互学习和知识蒸馏的启发,本文基于嫁接的概念,提出基于自适应加权的多网络联合并行训练策略,用于提升剪枝后网络模型的性能。该策略采用不同的训练参数训练多个相同的网络,训练过程中网络之间进行参数的自适应加权。为了解决多网络训练中的收敛缓慢问题,本文还采用基于梯度集中的随机梯度下降优化算法。相较于简单地微调、重新训练以及知识蒸馏,该训练策略得到的网络模型精度更高。
其他文献
随着现代无线通信系统往小型化、高集成度和宽带的方向飞速地发展,对系统最前端的天线部件的性能要求也越来越高。基于基片集成波导(Substrate Integrated Waveguide,SIW)技术的天线具有损耗低、效率高、重量轻和易平面集成等优点,从而被广泛应用于微波毫米波系统中。本文系统性地总结了各类高性能SIW天线的研究现状,并简要介绍了关于SIW技术的一些重要理论。在此基础上,对一些高性能
第一部分:3D打印设备辅助下“一针法”袖套式肝动脉重建在大鼠原位肝移植中的应用目的:大鼠肝移植模型是研究肝脏缺血再灌注损伤、肝移植术后免疫应答最常用的动物模型,但受限于技术水平,过去很长时间内无动脉吻合的肝移植模型广被推崇。然而无动脉吻合的肝移植术后胆道并发症发生率较高,而且会出现肝脏微环境、免疫状态的改变等,逐渐让研究者意识到动脉吻合重要性。“袖套法”动脉吻合是大鼠肝移植动脉重建最常用的方法,基
α-烯烃是一种重要的化工原料,广泛应用于润滑油、乳化剂、洗涤剂、钻井液等领域。乙烯齐聚法是目前制备α-烯烃的主要方法,其核心技术关键是催化剂的研究。催化剂的配体结构、金属中心种类等结构因素对其催化乙烯齐聚催化性能有至关重要的影响。然而,目前有关催化剂结构与乙烯齐聚催化性能之间构效关系的研究还不系统、全面。本论文基于这一问题,合成一系列具有不同配体结构的水杨醛亚胺镍配合物、系列具有不同催化活性中心的
相比于传统相控阵(Phase Array,PA)雷达,频控阵(Frequency Diverse Array,FDA)雷达的特别之处在于对每个发射阵元都施加了小小的频偏。正是由于频偏的存在,频控阵雷达的波束方向图完全区别于相控阵雷达,其不但具有距离和角度的依赖性和耦合性,在一个脉冲内还具有了时变性,即一个脉冲时间内的波束不再指向某一特定且恒定的角度,而是在一定的角度范围内存在“扭曲”。因此,频控阵
近年来,随着人工智能的快速发展,最优化问题作为应用数学中重要的研究方向之一被广泛应用于自动驾驶、医疗诊断、智慧城市等领域中。无约束单目标最优化问题是最优化问题中最重要的研究方向之一。根据目标函数的类型不同,无约束单目标最优化问题又可以被细分为无约束单目标单峰最优化问题、无约束单目标多峰最优化问题和无约束单目标组合最优化问题。尽管对无约束单目标最优化问题,研究人员从不同方面对基于群智能的元启发式算法
自由空间光(Free-Space Optical,FSO)通信具有通信容量高、抗电磁干扰能力强、保密性好等优势。在FSO通信系统中,不断提高数据传输容量、分析并降低由于大气湍流对信息传输造成的干扰、不断优化通信系统中的各部分结构来提高通信能力具有重要的研究意义。本论文围绕轨道角动量(Orbital Angular Momentum,OAM)光束在FSO通信系统中的应用展开研究,主要研究内容如下:第
随着微波通讯的发展,微波器件的高频化、集成化和高性能化的需求变得越来越迫切。铁氧体材料,作为微波器件的基础材料,一直是应用和研究的重点。随时通讯系统需求的不断提升,器件的宽频化对基础材料提出了更高的要求。本论文主要针对微波平面螺旋天线、微波环行器和微带天线的应用需求,研究器件的基础材料的配方和工艺,目的在于拓宽材料与器件的应用频段,并根据基础材料对微波器件的性能进行设计与仿真,实现器件的宽频化需求
地震勘探方法通过处理地表获取的地震波场来反映地下介质的结构,因此提高采集地震数据品质成为获取高质量地下介质图像的关键环节。利用地震波响应分辨地下构造和物性的能力取决于地震数据的分辨率,当前,薄互层、岩性和复杂隐蔽油气藏等已经成为地震勘探开发的重点领域,常规的地震数据难以满足薄砂体等储层精细刻画的要求,宽频带地震数据采集还无法有效解决很多地震数据的高分辨率处理问题,因此需要对地震数据高分辨率处理技术
随着计算机视觉技术的迅猛发展,基于神经网络的机器视觉检测技术取得了突破性的进展,其中基于深度学习的交通目标检测算法逐渐进入到广大研究人员的视野中。然而时间不断变换,天气环境多变,目标种类多样等问题对智慧交通场景下的多目标检测(特别是精准检测)提出了严峻挑战。因此,本文基于一种三维场景空间的思想方法,使用深度卷积神经网络模型YOLOv3作为基础模型,提出两种精准检测算法研究智慧交通多目标场景下的机器
能源是人类活动的物质基础,人类文明的不断进步和经济的不断发展离不开优质能源的出现和先进能源技术的应用。化石燃料的大量使用已经造成了难以逆转的气候变化,迫使人们寻求并发展清洁能源,并将目光投向消耗后可得到恢复补充、不产生或极少产生污染物的太阳能、风能、生物能、水能、地热能、氢能等可再生能源。如今,开发环境友好型能源是全世界共同关心的问题,未来全电动化可能会成为一种全球化的趋势。有机-无机杂化卤化物钙